数据也是在三个节点之间同步，但 Queue 的实际存储只会在一个节点。我们发送消息到指定 Queue，其实是发送消息到指定节点下的 Queue。如下图所示，消息发送至队列 testQueue，无论发送者通过哪个 RMQ 节点执行发送，其最终的执行都会是在 MQ03 节点执行消息的存储。 说到这儿，可能有的小伙伴就要问了？说好的，RabbitMQ 集群提供高可用性呢？分析一下，RabbitMQ集群搭建完成后，如果不进行任何高可用配置，会有哪些问题呢？ 单点故障会导致消息丢失：如果 MQ03 节点故障，那么 MQ03 中的消息就会丢失无法最大化的利用 RMQ 提升执行效率：既然每次发送到队列 testQueue 的消息都会在 MQ03 节点存储，那么何必搭建集群。 引入 RabbitMQ 的镜像...阅读全文
定要配置重试要根据业务情况而定。也可以用同步发送的模式去发消息，当然acks不能设置为0，这样也能保证消息发送的有序。 kafka保证全链路消息顺序消费，需要从发送端开始，将所有有序消息发送到同一个分区，然后用一个消费者去消费，但是这种性能比较低，可以在消费者端接收到消息后将需要保证顺序消费的几条消费发到内存队列(可以搞多个)，一个内存队列开启一个线程顺序处理消息。 如果为了性能好，不允许所有消息只在同一个分区，同时又要保证顺序消费，那么可以给每条消息加一个下标，当消费者拿到消息后先不急着消费，而是先判断下标，然后根据下标以此进行消费； 2.1.4 消息积压 1）线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。 此种情况如果积压了上百万未...阅读全文
-consumer-groups.sh --bootstrap-server localhost:9092 --list 查看kafka消息队列特定组的消费积压情况（主要看CURRENT-OFFSET、LOG-END-OFFSET的值，判断Kafka堆积情况）kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group g1 查看指定topic上每个partition的offsetkafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic debian.cn 例子： ``` # 创建一...阅读全文
)、consumer(消息消费者)都可以是分布式的。 在消息的生产时可以使用一个标识topic来区分，且可以进行分区；每一个分区都是一个顺序的、不可变的消息队列， 并且可以持续的添加。 同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。 消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡 1.1.3. 常用的场景 监控：主机通过Kafka发送与系统和应用程序健康相关的指标，然后这些信息会被收集和处理从而创建监控仪表盘并发送警告。 消息队列： 应用程度使用Kafka作为传统的消息系统实现标准的队列和消息的发布—订阅，例如搜索和内容提要（Content Feed）。比起大多数的消息系统来说，Kafka...阅读全文
统瘫痪！ 5.线上Redis禁止使用Keys正则匹配操作 Redis是单线程处理，在线上KEY数量较多时，操作效率极低【时间复杂度为O(N)】，该命令一旦执行会严重阻塞线上其它命令的正常请求，而且在高QPS情况下会直接造成Redis服务崩溃！如果有类似需求，请使用scan命令代替！ 6.可靠的消息队列服务 Redis List经常被用于消息队列服务。假设消费者程序在从队列中取出消息后立刻崩溃，但由于该消息已经被取出且没有被正常处理，那么可以认为该消息已经丢失，由此可能会导致业务数据丢失，或业务状态不一致等现象发生。 为了避免这种情况，Redis提供了RPOPLPUSH命令，消费者程序会原子性的从主消息队列中取出消息并将其插入到备份队列中，直到消费者程序完成正常的处理逻辑后再将该消息从备份队列...阅读全文
Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂，它需要设计者有深厚的计算机知识和专业知识，没有一种通用的设计可以适应所有业务场景。尽管如此，还是有一些比较通用的规则可以供你设计系统时参考，也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文
Go 团队近日在博客介绍了 Go 泛型的最新进展。 Go 团队表示他们一直在完善泛型的设计草案，并为此编写了一个类型检查器——可按照设计草案中的说明，解析使用泛型的 Go 代码并报告任何类型的错误。为了收集社区的反馈，他们还编写了示例代码并在草案中提供。 根据收集的反馈和了解的信息，Go 团队发布了更新后的泛型设计草案。 "The design is fully backward compatible with Go 1"，完全兼容 Go 1 新版草案最大的变化是放弃了关于 contracts 的想法。因为团队认为 contracts 和 interface 类型之间的区别会令人感到困扰，所以他们正在消除这种区别。类型参数现在受 interface 类型约束，当 interface 类型仅...阅读全文
律动 BlockBeats 消息，5 月 25 日，据官方消息，牛油果 Enumivo 团队宣布推出新项目 EVO Chain，旨在复制一条 ETH2。官方表示，将在区块高度 12,520,000 至 12,800,000 区间内进行代币空投。 用户需要在此区间内，向 0x3fEa51dAab1672d3385f6AF02980e1462cA0687b 地址发送 0 ETH，成功后便可获得 4 EVO，同时团队将获得 1 EVO。单一地址发送交易次数不限，EVO 总量 1 亿枚。 团队同时表示，对 DPoS 已经失望，此前发行于 EOS 链上的项目将会迁移至 EVO Chain 上。...阅读全文
发送消息的客户端。 consumer：消息消费者，就是从broker拉取数据的客户端。consumer group：消费者组，由多个消费者consumer组成。消费者组内每个消费者负责消费不同的分区，一个分区只能由同一个消费者组内的一个消费者消费；消费者组之间相互独立，互不影响。所有的消费者都属于某个消费者组，即消费者组是一个逻辑上的订阅者。broker：一台服务器就是一个broker，一个集群由多个broker组成，一个broker可以有多个topic。topic：可以理解为一个队列，所有的生产者和消费者都是面向topic的。partition：分区，kafka中的topic为了提高拓展性和实现高可用而将它分布到不同的broker中，一个topic可以分为多个partition，每个...阅读全文
他们赞助该项目的原因： 性能。Rust 非常快且内存效率高：没有运行时或垃圾收集器，它可以为关键性能服务提供支持，可以在嵌入式设备上运行，并且可以轻松地与其他语言集成。可靠性。Rust 的丰富类型系统和所有权模型保证了内存安全性和线程安全性，并能使开发者在编译时消除许多类的错误。生产率。Rust 拥有出色的文档，友好的编译器以及有用的错误消息以及一流的工具——集成的软件包管理器和构建工具，具有自动完成和类型检查的智能多编辑器支持，自动格式化程序等。 接着，AWS 还列举了几个优秀的 Rust 库，并称赞了它的包容性社区，最后表示“Rust 连续四年被评为 Stack Overflow 的最受欢迎语言不足为奇”。 对于 Rust 来说，它可以使用 AWS 服务来执行以下操作： 在 S3 上存储...阅读全文
/kitex-benchmark。 扩展性：Kitex 设计上做了模块划分，提供了较多的扩展接口以及默认的扩展实现，使用者也可以根据需要自行定制扩展。Kitex 未耦合 Netpoll，开发者可选择其他网络库扩展使用。 消息协议：RPC 消息协议默认支持 Thrift、Kitex Protobuf、gRPC。Thrift 支持 Buffered 和 Framed 二进制协议；Kitex Protobuf 是 Kitex 自定义的 Protobuf 消息协议，协议格式类似 Thrift；gRPC 是对 gRPC 消息协议的支持，可以与 gRPC 互通。除此之外，使用者也可以扩展自己的消息协议。 传输协议：传输协议封装消息协议进行 RPC 互通，传输协议可以额外透传元信息，用于服务治理，Kitex 支持的...阅读全文
] Service discovery：为 kubernetes 添加新的节点地址类型 #5902[ENHANCEMENT] UI：如果查询返回了一些警告，则显示警告 #5964[ENHANCEMENT] Remote write：减少系列缓存的内存使用量 #5849[ENHANCEMENT] Remote read：使用远程读取流传输以减少内存使用量 #5703[ENHANCEMENT] Metrics：添加了将远程最大/最小/所需分片写入队列管理器的指标 #5787[ENHANCEMENT] Promtool：在标签查询期间显示警告 #5924[ENHANCEMENT] Promtool：改进了解析错误规则时的错误消息 #5965[ENHANCEMENT] Promtool：更多提示规则 #5515...阅读全文
解释，否则错误很容易产生，事情很容易被拖延。 以下是在选择框架时的一些设计考虑因素： 强类型 - 消息是否是强类型的？如果通过服务边界发送的消息清晰可见，那么可以消除由于类型而造成的设计和运行时错误。 打开解释 - 能够直接从服务API规范生成客户端库，减少了误解的问题。错误条件 - 有一套明确定义的错误代码可以更容易一致地交流问题。 文档 - 服务API应该是易读易懂的。定义服务API的格式应该尽可能清楚，准确地描述端点。 版本控制 - 更改是不可避免的，这是一个很好的选择，在某些时候，服务API将需要修改。所使用的消息传递格式和服务定义可以影响修改API并将其部署到生产的容易程度。是否有明确的路径来增加版本及其相应的库，并推出更改？ 微服务最佳实践，为什么可扩展性是重要的 除了上面列出的...阅读全文
随着锐龙4000系列笔记本处理器的上市，AMD现在的CPU产品线中还少最后一环——7nm Zen2的锐龙APU桌面版，取代目前的锐龙3000G系列。好消息是，现在有点眉头了。 经常爆料AMD最新消息的网友rogame今晚曝光了一款未知的AMD APU处理器，其中CPU基础频率大于3GHz，iGPU核显频率大于1200MHz，支持DDR4-3200内存，没说核心数，看爆料猜测是6核12线程版的。访问AMD旗舰店。 性能方面，CPU性能比目前的锐龙7 4700U/4600U要高，但GPU要比6核锐龙4000U系列要低，毕竟核显频率也低了很多，笔记本中的锐龙4000U/H的GPU频率在1500-1750MHz之间。 综合来看，这次泄露的锐龙4000 APU定位不算高，有可能传闻中的锐龙3...阅读全文
("https://oapi.dingtalk.com/message/send?access_token=", access_token, body) 其中agent_id是一个钉钉应用的id，以钉钉应用的名义给用户发送消息。users是用户id列表，每个用户id是一个字符串。 发送链接 def send_link_to_users(access_token, users, url, title, text): msg_type, msg = _gen_link_msg(url, title, text) return _send_msg_to_users(access_token, users, msg_type, msg) def _gen_link_msg(url, title, text...阅读全文
/list # 频道列表 /names [#聊天室] # 列出当前服务器或指定聊天室下的所有人员名称（无法列出隐藏人员） /who # 查看频道的所有人 /whois [name] # 查看某人的基本资料 /ison
帮助他们采用和适应分布式架构，同时提升开发的质量和速度。 Insnia Designer 的诞生是为了让用户能够模仿团队的工作方式来构建工作流。Insomnia Designer 以 DevOps、CI/CD 和 GitOps 最佳实践为基础构建，能够自动生成 Kubernetes 和 Kong 的声明式配置，使繁琐的流程自动化，并将配置飘移(Configuration Drift)的风险降到最低。 同时，为了提高可视化效果以及协作性，Insomnia Designer 提供了一个文档列表，用于查看和管理 API 规范。此外还提供了用于 API 设计的详细消息以及关于它们的整个 Git 历史记录（已集成 Git）。这样的好处在于用户可以确保对所有 REST 和 GraphQL API 规范文...阅读全文
今年 1 月 1 日的时候，Python 2.7 正式停止维护，但是实际上还遗留有一个版本 2.7.18 没发布。4月20 日，官方发布了最后的这一个版本，为 Python 2 划下了圆满的句号。 注：Python 2.7 在 2019 年的最后一个版本是 10 月 19 日发布的 2.7.17 版本，在它之后直到 2020 年 1 月 1 日之间产生的问题会合入最后一个版本 2.7.18。 Python 核心开发团队宣布了这一消息，“自 11 年前发布 Python 2.6 以来，Python 2.7 一直处于积极开发中。这些年来，CPython 的核心开发人员和贡献者认真地将 bug 修复应用到 2.7 分支，这是一项艰巨的任务，因为 Python 2 和 3 分支有所不同。”官方感谢...阅读全文
，App开发运营者加强前端和后端安全防护、访问控制、技术加密、安全审计等工作，主动监测发现个人信息泄露等违规行为，及时响应处置要求。App开发运营者还要履行国家规定的其他个人信息保护义务。 尽管《规定》尚未正式发布实施，但是主流平台企业已经用实际行动认可了各自的信息保护义务。 7月6日，阿里巴巴开放平台发布《依法加强消费者订单中敏感信息保护的公告》，称将启动订单处理链路的消费者敏感信息保护方案，对涉及消费者个人敏感信息采取加密、去标识化等安全技术措施。 7月9日，京东发布《JD用户订单隐私安全方案》，称为保障京东用户和商家数据信息安全，京东商家开放平台将对订单中手机号和座机号进行脱敏。 7月20日，抖音电商运营团队发布公告，为防止消费者隐私信息泄露，抖店将启动消费者隐私数据...阅读全文
bindings and triggers （资源绑定及事件触发） Dapr的Bindings与Azure Functions很类似，其是建立在事件驱动架构的基础之上的。通过建立触发器与资源的绑定，可以从任何外部源（例如数据库，队列，文件系统等）接收和发送事件，而无需借助消息队列，即可实现灵活的业务场景。Dapr的Bindings分为两种： Input Bindings（输入绑定）：当外部资源的事件发生时，借助输入绑定，你的应用即可通过特定的API：POST http://localhost:
务器现在还支持正常关机了，允许服务器通过在服务所有正在运行的请求之后关闭，而最小化停机时间。 上下文（添加到Go 1.7中的标准库）提供了取消和超时机制。Go 1.8在标准库中添加了更多对上下文的支持，包括数据库/ sql和net包以及net / http包中的Server.Shutdown。 现在使用新添加的Slice函数在排序包中对切片进行排序更简单。例如，要通过“名称”字段对结构体片段进行排序： sort.Slice（s，func（i，j int）bool {return s [i] .Name 更多新版本的添加、改进和修复内容，以及上面列出的改进的详细信息请查看Go 1.8发行说明。 为了庆祝发布，世界各地的Go用户组都在本周举办发布会，这已经成为Go社区的一个传统，所以如果你错过了...阅读全文
技术一面 基础面试 一面是通过电话直接沟通。 go的调度go struct能不能比较go defer（for defer）select可以用于什么context包的用途client如何实现长连接主协程如何等其余协程完再操作slice，len，cap，共享，扩容map如何顺序读取实现set实现消息队列（多生产者，多消费者）大文件排序基本排序，哪些是稳定的http get跟headhttp 401,403http keep-alivehttp能不能一次连接多次请求，不等后端返回tcp与udp区别，udp优点，适用场景time-wait的作用数据库如何建索引孤儿进程，僵尸进程死锁条件，如何避免linux命令，查看端口占用，cpu负载，内存占用，如何发送信号给一个进程git文件版本，使用顺序...阅读全文
Visual Studio Code 刚刚公布了其 2018 发展路线图。开发团队表示，他们通常会先制定目标，然后将工作分解在后续的 6-12 个月时间内。在当前的规划中，主要会从以下三个角度进行改进： Happy Coding： 为新用户和现有用户提供更愉快的编码体验。 Node、JavaScript 和 TypeScript： 为各种语言和框架实现卓越的端到端体验。 A Rich Extension Ecosystem： 提供更丰富的扩展功能，构建良好的生态系统。 各项大致内容（仅供参考） Happy Coding 计划针对以下方面进行改进： Fundamentals：提高启动性能、减少资源/内存消耗、提高可访问性、支持社区贡献的翻译语言包、改善更新体验、提高可维护性等...阅读全文
enqueue 在上面介绍 node 的 object 队列大小部分，我们提到将报文排队到下一个 node 的概念。对于普通的 enqueue，就是简单的将当前 node 中处理好的报文，通过使用 rte_memcpy / pointer assignment 作为传递方法， enqueue 到下一个可能的 node。 Home run Home run 则是一种优化的情况，它不像普通的 enqueue 把报文复制到下一个 node，而是简单地交换当前 node 和下一个 node 之间的有关于报文的指针（例如报文、报文数目），从而消除 memory copy / pointer assignment 的开销。当满足以下条件时，home run 才会被触发： 所有已处理好的报文都将前往同一个 node...阅读全文
不过在这段时间内，开发团队还需要修复已知的BUG，各种崩溃和内存泄漏问题，整合所有最新的安全补丁，处理Debian GNU/Linux 8 "Jessie"系列版本的推送和流畅升级问题。 Niels Thykier在今天更新的邮件列表中写道：“我们计划在2017年6月17日发布。如果你想要为此进行庆祝，请考虑参加一场Debian版本发布排队或者自己举办一个。用户可以访问https://wiki.debian.org/ReleasePartyStretch查看更多信息。”...阅读全文
贡献开源代码，开放 Linux 系统安装，微软正在向这两个曾经抵触的“敌人”敞开怀抱。继 SUSE 和 Ubuntu 之后，Windows 10 的应用商店刚刚又加入了两个新的 Linux 发行版 —— Debian GNU/Linux Stretch 和 Kali Linux。 事实上，Kali 团队在 2 月 21 日就曾宣布了这个消息，并发布了一个安装演示视频。只不过当时该发行版并未得到 Windows Subsystem for Linux (WSL) 的官方支持。在和 WSL 团队的通力合作下，现在用户在 Windows 10 应用商店上简单点击 “获取” 就能进行安装。 Kali Linux 是基于 Debian 的发行版，旨在实现高级渗透测试和安全审计，适用于各种信息安全任务...阅读全文
OffsetFetch 请求以接受多个组 ID请求 Kafka 消费者组的当前偏移量已经有一段时间了。但是获取多个消费者组的偏移量需要对每个组进行单独的请求。在 3.0 和KIP-709 中，fetch 和 AdminClient API 被扩展为支持在单个请求/响应中同时读取多个消费者组的偏移量。KIP-699：更新 FindCoordinator 以一次解析多个 Coordinator支持可以以有效方式同时应用于多个消费者组的操作在很大程度上取决于客户端有效发现这些组的协调者的能力。这通过KIP-699成为可能，它增加了对通过一个请求发现多个组的协调器的支持。Kafka 客户端已更新为在与支持此请求的新 Kafka 代理交谈时使用此优化。KIP-724：删除对消息格式 v0 和 v1 的支持自 2017 年...阅读全文
Debian 开发团队发布了下一个主要版本 Debian 11 Bullseye 的暂定软件包冻结日期计划。 根据介绍，此次在软冻结（Soft Freeze）和完全冻结（Full Freeze）之间引入了一个新的里程碑：硬冻结（Hard Freeze）。硬冻结期间，关键软件包和没有自动化测试的软件包是禁止自动迁移的，这些软件包将需要手动从发布团队中取消限制以进行迁移，与完全冻结一样。 从时间表里看得出来，Debian 11 Bullseye 的第一个里程碑“过渡和构建基础冻结”将会发生在 2021 年 1 月 12 日；第二个里程碑“软冻结”于 2 月 12 日，新增的第三个里程碑“硬冻结”在 3 月 12 日，而第四个里程碑“完全冻结”日期还未定。 完全冻结的开始日期将依据开始计划发布...阅读全文
发行版）。该版本引入了一系列新功能，包括对多平台项目的实验性支持 —— 允许开发者在针对 JVM 和 JavaScript 的模块之间共享代码，以及多项对语言方面的改进 —— 包括支持在注释中使用数组字面量。更多关于 1.2 版本新功能的内容，点此查看。 此外，值得关注的就是协程这个特性了。虽然协程仍然被标记为实验性状态，但官方特意说明了这里“实验性”代表的含义。官方表示协程已经完全准备好用于生产环境，他们也已使用协程进行开发，而且也没发现在使用当中出现任何重大问题。之所以仍保持实验性状态，是为了能够对 Kotlin 继续进行设计迭代。根据目前的计划，Kotlin 1.3 将会删除协程的实验性状态。 Kotlin/Native 对 iOS 开发的支持 另外一个重大消息就是 Kotlin...阅读全文
Canonical的Adam Conrad今天向Ubuntu社区发布公告，表示Ubuntu 16.10（Yakkety Yak）操作系统将于2017年7月20日结束生命周期。在此之前，就有消息称该系统将会在今年7月底之前停止支持，而今天团队终于敲定了具体的日期。 Conrad在公告中表示：“Ubuntu 16.10 (Yakkety Yak)于2016年10月13日发布，至今已经有接近9个月了。作为非LTS版本，16.10按照惯例会有9个月的支持周期，支持周期已经临近尾声，Ubuntu 16.10将会在7月20日周四结束生命周期。” 此外Adam Conrad还推荐Ubuntu 16.10用户尽快完成升级，升级至最新版本Ubuntu 17.04 (Zesty Zapus)，相关的帮助文档和...阅读全文
前两天我们才报导过 Debian 包维护者 Michael Stapelberg 因对 Debian 社区的现状不满而 宣布退出 Debian 的维护 ，该消息引发了人们对于 Debian 的担忧。11 日，邮件列表上一封标题为“Leaderless Debian”的公开信进一步加深了这种担忧。 Debian 社区目前正在进行领导人选举，3 月 3 日-10 日是候选人提名阶段，然而，截至公开信发出的 11 日，还没有一位符合资格的 Debian 开发者提交申请。 此前的 Debian 领导人 Chris Lamb 一直被寄予厚望，他已经连任了两年，但是今年他公开表示因为一些 Debian 相关的与私人的原因 不参与竞选 。 所以，现在出现了尴尬的情况：“提名期已经结束，竞选期已经开始，但...阅读全文
去年的时候，Google 旗下 Project Zero 团队发现了一个由 CPU “ 预测执行 ” 导致的严重安全漏洞，而它也是一项被大多数现代处理器使用的性能优化方案。根据研究人员 Jann Horn 的演示，恶意攻击者可借此读取不该被它访问到的系统内存。某个未经授权的一方，可能在系统内存中读取到一些敏感信息，比如密码、加密密钥、或者在应用程序中打开的其它机密信息。 测试还表明，在一台虚拟机上发起的攻击，甚至能够访问到主机的物理内存。基于此，还可以获取在同一主机上、不同虚拟机的内存读取访问。 该漏洞影响许多 CPU，包括来自英特尔、AMD、ARM 的芯片，以及搭配运行的设备和操作系统。在获悉这种新型攻击的第一时间，谷歌安全和产品开发团队就积极动员了起来，以保护自家系统和用户数据。 万幸...阅读全文
should never reach here! exit(EXIT_FAILURE); } 请确保在你的main函数中的clone_flags的变量应该是这样的nt clone_flags = CLONE_NEWUTS | SIGCHLD;，然后编译并用同样的命令参数运行。这个时候你可以看到用它执行 hostname命令的返回值。同时为了核查这个变动不会影响你当前的shell环境，我们将执行 hostname 并确认返回了先前原始的值。 > gcc -o uts uts.c > ./uts hostname myhostname > hostname development IPC Namespace IPC namespace用于隔离进程间通信，像SysV的消息队列，让我们为这个命名空间创建一个...阅读全文
Debian 反骚扰团队通过邮件列表发布通知，准备从仓库里移除一个软件包，理由是其名字不合适。反骚扰团队的成员表示，他们收到了关于指责该软件包暗含“性意味”的邮件，而 Debian 反骚扰团队与该软件包的开发团队经过沟通后，对方仍拒绝改名。 该软件包叫 Weboob，有自己的网站 Weboob.org，是 Web Outside of Browsers 的缩写。Weboob (Web Out Of Browsers) 提供了很多工具以用于和很多的网站进行交互。例如在 youtube 上搜索并播放视频；查询天气、银行帐号等等信息。它是在 2010 年进入到 Debian 软件仓库的。它的名字因含有性意味而在几个月前遭到质疑，它的名字以及部分模块都含有 boob 这个与女性器官相关的单词...阅读全文
可扩展套件，与你的基础环境交互，执行流程如下： 从各个服务系统通过push或pull的方式把event传给sensors， sensors会产生一个trigger到规则配置中查询该trigger对应的动作或者工作流将来自工作流的Action发送到消息队列（内置rabbitmq）中Actions到达外部的系统后就执行相应的动作日志和审计历史被推送到数据库进行存储（Mongodb）处理后的结果被发送回规则引擎进行进一步处理 Stackstorm的更新非常活跃，最新的发布信息从官方网站上可以看到。目前最新的版本是 2.10.1。 Stackstorm工作原理 目录...阅读全文
欧盟一般数据保护条例（GDPR）和加州消费者隐私法案（CCPA）是欧美两大经济体所出台的两部具有代表意义的个人数据保护方面的法规，代表欧美监管机关对于个人数据保护两种不同的管控取向。 本文选取了“个人数据或信息的类型与范围界定”、“法律的管辖范围”、“数据跨境传输管控”、“儿童数据的保护”、“数据主体的反对权和被遗忘权”等关键概念，对GDPR和CCPA的部分要点进行比较分析。 1. “个人数据”或“个人信息”的范围界定 1.1 GDPR对个人数据的定义——侧重用抽象概念定义，实践中存在很大解释空间 除了对少数“特殊种类个人数据”（如宗教信仰、种族、工会成员信息、健康状况等）进行了零星列举以外，《欧盟一般个人数据保护条例》（GDPR）主要用抽象概念对其所管辖的“个人数据”的范围进行界定。 根...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
Redis 6 是有史以来改变最大的 Redis版本，因此即使稳定，也要小心处理，并在投入生产之前对其进行测试，以进行工作量测试。到目前为止，我们从未发现重大问题，但请务必小心。在收集错误报告时，我们将准备尽快发布Redis 6.0.1。 变化如下：除了稳定性之外，RC1和今天之间还有什么变化？ 1. 在某些方面对客户端缓存进行了重新设计，尤其是放弃了缓存插槽方法，而只使用键名。在分析了替代方案之后，在其他Redis核心团队成员的帮助下，这种方法最终看起来更好。除此之外，尤其是“广播模式”，我相信它将成为该功能最流行的使用模式之一。 使用广播时，服务器不再尝试记住每个客户端请求的密钥。相反，客户端订阅密钥前缀：每当与该前缀匹配的密钥被修改时，它们就会收到通知。这意味着可广播更多消息（但仅适...阅读全文
Linux Mint 团队已正式宣布推出 Linux Mint 19.2 “Tina” 的首个 beta 版，它包含一系列性能改进和界面改进，并为许多核心应用程序和实用程序带来增强功能。 测试稳定后，Linux Mint 19.2 将成为 Linux Mint 的第 30 个命名版本，以及基于 Ubuntu 18.04 LTS Bionic Beaver 的 19.x 系列中的第二个版本。并将获得从发布到 2023 年的技术支持。 此次的 beta 版本包含了一些新功能： 改进了升级管理器中的内核管理软件管理器可以获取“丢失”的 GPG 密钥软件管理器可以扫描/删除重复的源降低 Cinnamon 的 RAM 消耗松饼（Muffin）窗口管理器优化，使用起来感觉“更平滑”Mint Menu...阅读全文
己专属的日志文件(无论该用户是否拥有登录会话)，但系统用户的日志依然记录到系统日志中。这是默认值。 "none" 表示不对日志文件按不同用户进行分割，而是将所有日志都记录到系统日志中。这意味着非特权用户根本无法读取属于自己的日志信息。 注意，仅分割持久保存的日志(/var/log/journal)， 永不分割内存中的日志(/run/log/journal)。 RateLimitIntervalSec=, RateLimitBurst= 用于限制日志的生成速度(设为零表示不作限制)。 RateLimitIntervalSec= 用于设置一个时间段长度，默认值是30秒。 RateLimitBurst= 用于设置一个正整数，表示消息条数，默认值是1000条。 表示在...阅读全文
降。好消息是，英特尔依然为该系列产品提供了长达五年的质保。 数据走的是 PCI-Express 3.0 x4 通道 经过换算，512GB / 1TB / 2TB 版本的每 GB 单价为 20 美分左右，给出的日写入量则是 100TBW / 200TBW / 400TBW。目前英特尔 SSD 660p 512GB 版本已经率先到货，感兴趣的朋友可以到 newegg.com 等线上或线下零售商选购。...阅读全文
只能获取对应DB中表的变化信息. 一张表能够被逻辑流复制订阅,需要满足下列三个条件之一 1)这张表的流复制方式为全复制,即 REPLICA = FULL 可以通过DDL语句 alter table t REPLICA FULL 定制对应的表 这个选项使得对应表中每一行的变化数据被完整的记录到WAL中.所以带来了较多的IO负担. 2)这张表具有主键约束 有主键的表的变化信息会被记录到WAL中,相对于REPLICA FULL模式,old row没有变化的列将不会被记录到WAL中,对IO的影响相对FULL更小. 3)为该表指定一个非空的唯一索引,作为REPLICA INDEX. 可以通过DDL来定制相应的表 CREATE UNIQUE INDEX idx ON d(a); alter table...阅读全文
++ { messages <- i } time.Sleep(5 * time.Second) close(done) time.Sleep(1 * time.Second) fmt.Println("main process exit!") } 上述例子中定义了一个buffer为0的channel done, 子协程运行着定时任务。如果主协程需要在某个时刻发送消息通知子协程中断任务退出，那么就可以让子协程监听这个done channel，一旦主协程关闭done channel，那么子协程就可以推出了，这样就实现了主协程通知子协程的需求。这很好，但是这也是有限的。如果我们可以在简单的通知上附加传递额外的信息来控制取消：为什么取消，或者有一个它必须要完成的最终期限，更或者有多个取消选项，我们需要根据额外的信息来判断...阅读全文
Gitlab 官方 宣布 ，将从 12.1 版本开始不再支持 MySQL 数据库。早在 2017 年 7 月，Gitlab 就计划将弃用对 MySQL 的支持。而目前这个决定将从 12.1 版本开始。 官方列出几个 MySQL 不能满足 Gitlab 需求的地方： 无法支持嵌套分组查询（详情）必须使用黑科技来提升 MySQL 对列的限制，这将导致 MySQL 拒绝存储数据MySQL 无法添加 TEXT 类型字段的长度限制MySQL 不支持分区索引还有类似 Geo 为了解决上面这些问题，Gitlab 创建了许多专门针对 MySQL 的代码。 在某些情况下，这导致合并请求的复杂性要高一倍，因为它们必须支持第二个数据库后端。 创建和维护这些代码会消耗我们的循环时间和速度，并且会降低我们的迭代值...阅读全文
如果你想在64位RISC-V设备上使用Debian GNU/Linux操作系统，你应该知道现在有一个用于Debian基础架构的RISC-V 64位（riscv64）体系结构的官方接口。 这一消息来自开发人员Manuel Fernandez Montecelo，他表示，经过几周的努力，他和他的团队成功实现了官方的64位RISC-V bootstrap，现在Debian项目的Debian-ports基础架构可以使用这些引导程序，为那些想要在RISC-V设备上下载包的人提供。 “在过去的几周里，我们一直在为Debian RISC-V做一个（第二）引导，经过几周的努力，现在它已经被引导并被导入到Debian基础架构中，特别是debian-ports“，Manuel Fernandez...阅读全文
Ryzen嵌入式G系列芯片，代号River Hawk，Zen 2架构，最高4核8线程。 第三季度的产品最富竞争力，毕竟Zen 3架构将新鲜登场，首秀是代号Milan的第三代EPYC，最高64核128线程。8月份将是锐龙4000桌面处理器和锐龙APU产品，前者当然升级到Zen 3，代号Vermeer（维米尔），最高16核，延续AM4接口；后者则升级为Zen 2架构，采用Ryzen 4000G/GE的命名，Zen 2架构+Navi。 同年第四季度是线程撕裂者4000产品，最高64核128线程。这一路线图也呼应了本周一则消息，AMD最快10月份推出第三代线程撕裂者，最高48核？...阅读全文
在Debian及其衍生的系统中，我们需要经常使用的软件包管理命令，对系统进行管理，以便系统达到预期的状态。Debian系统中，常用的软件包命令有 apt、apt-get、dpkg、apt-cache等，这里我们着重列举常见的一些用法。 软件包查询（不需要sudo权限） $ apt-cache search pkg_keyword #列出匹配关键字的软件包 $ apt search pkg_keyword #列出匹配关键字的软件包，包括了版本信息 $ apt list pkgname #查找该软件包，会显示版本信息 $ apt-cache show pkgname #查询软件包详细信息 $ apt show pkgname #查询软件包详细信息 $ apt-cache depends...阅读全文
代表cpu使用的时间。例如： 九、Async-profiler的使用 和 火焰图分析 背景： 目前有一个kafka消费者工程,此工程会消费kafka中的消息，并通过fastjson解析该消息为java实体，然后存入到阻塞队列 BlockingQueue中。另外有若干个线程会从queue中批量拿消息，然后以批量形式写入到 elasticsearch 中。目前在使用中发现存在性能瓶颈，需要定位是该工程对消息转化处理较慢，还是写es操作比较慢。 9.1采集cpu profile数据 我们将代码回退到第一次测试的情况,并启动程序，并找到当前进程号(627891)，然后通过如下命令进行采集，并转换为火焰图格式 svg。 ./profiler.sh -d 15 -i 50ms -o svg -e cpu...阅读全文
, signature, torrent, pkglist) Tails (“The Amnesic Incognito Live System”的缩写) 是一个十分注重“隐私性”和“隐匿性”的 Linux 发行版，它衍生自 Debian，设计之初就是帮助用户匿名使用互联网，并最大限度保护个人隐私。 为达到此目标，Tails 使用了 Tor 网络，使得网络流量很难被追踪。Tails 还预装了一些应用，包括网页浏览器、IRC 客户端、邮件客户端、即时消息通信工具，它们都以安全为理念进行了预配置，并对网络流量进行了匿名性处理。因此通过 Tails 我们可以不留下任何痕迹“隐身”地使用互联网。...阅读全文
当我们还在体验 Linux 5.5 稳定发行版带来更好的硬件支持时，Linux 5.6 已经来了。说实话，Linux 5.6 比 5.5 更令人兴奋。即使即将发布的 Ubuntu 20.04 LTS 发行版将自带 Linux 5.5，你也需要切实了解一下 Linux 5.6 内核为我们提供了什么。 我将在本文中重点介绍 Linux 5.6 发布版中值得期待的关键更改和功能： Linux 5.6 功能亮点 当 Linux 5.6 有新消息时，我会努力更新这份功能列表。但现在让我们先看一下当前已知的内容： 1、支持 WireGuard WireGuard 将被添加到 Linux 5.6，出于各种原因的考虑它可能将取代 OpenVPN。如果你使用过它，那你可能已经知道它比 OpenVPN 更好的...阅读全文
