导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
存 比 DDR2 的快这么多，SSD 比磁盘快很多，ATI 的显卡是垃圾…… 如此等等。 程序语言也是一样的道理。对于初学者来说，其实没必要纠结到底要先学哪一种语言，再学哪一种。曾经有人给我发信问这种问题，纠结了好几个星期，结果一个语言都还没开始学。有这纠结的时间，其实都可以把他纠结过的语言全部掌握了。 初学者往往不理解，每一种语言里面必然有一套“通用”的特性。比如变量，函数，整数和浮点数运算，等等。这些是每个通用程序语言里面都必须有的，一个都不能少。你只要通过“某种语言”学会了这些特性，掌握这些特性的根本概念，就能随时把这些知识应用到任何其它语言。你为此投入的时间基本不会浪费。所以初学者纠结要“先学哪种语言”，这种时间花的很不值得，还不如随便挑一个语言，跳进去。 如果你不能用一种语言里面的...阅读全文
，基于RESTful API的工具。 不幸的是，这感觉就像试图将简单的方法调用变成一个数据驱动的RESTful界面。这满足了RESTful接口的verb，header，URL标识符，资源的URL和有效载荷的神奇组合，并做了一个清洁，简单，看起来几乎不可能实现的功能界面。RESTful有很多规则和解释，在大多数情况下会导致REST ish接口，这需要花费额外的时间和精力来保持其纯度。 最终，考虑到RESTAPI的复杂性，我们找到了替代方案。希望微服务尽可能相互隔离，减少交互和解耦服务。它可以让企业在很短的时间内创造出一个可行的服务，并防止跳过hoops。 评估REST的替代方案 不要轻易选择通信框架。大型组织（如Netflix）可以拥有超过500+个微服务的后端系统。迁移这些服务以取代不充分的服...阅读全文
模作业调度的优化 构建 Pipeline Region 的性能提升：所有由 pipline 边所连接构成的子图 。在 Flink 任务调度中需要通过识别 Pipeline Region 来保证由同一个 Pipline 边所连接的任务能够同时进行调度。否则有可能上游的任务开始调度，但是下游的任务并没有运行。从而导致上游运行完的数据无法给下游的节点进行消费，可能会造成死锁的情况 任务部署阶段：每个任务都要从哪些上游读取数据，这些信息会生成 Result Partition Deployment Descriptor。 这两个构建过程在之前的版本都有 O (n^2) 的时间复杂度，主要问题需要对于每个下游节点去遍历每一个上游节点的情况。例如去遍历每一个上游是不是一个 Pipeline 边连接的关系...阅读全文
，并且相信已经覆盖到了大部分的使用场景。 接下来会主要介绍Apollo的cluster管理（集群）、namespace管理（命名空间）和对应的配置获取规则。 4.1 Core Concepts 在介绍高级特性前，我们有必要先来了解一下Apollo中的几个核心概念： application (应用) 这个很好理解，就是实际使用配置的应用，Apollo客户端在运行时需要知道当前应用是谁，从而可以去获取对应的配置每个应用都需要有唯一的身份标识 - appId，我们认为应用身份是跟着代码走的，所以需要在代码中配置，具体信息请参见Java客户端使用指南。environment (环境) 配置对应的环境，Apollo客户端在运行时需要知道当前应用处于哪个环境，从而可以去获取应用的配置我们认为环境和代码无关...阅读全文
运算并被服务器的总权重相除后派发至某匹配的服务器；此算法可以通过追踪请求中的用户标识进而确保同一个用户ID的请求将被送往同一个特定的服务器，除非服务器的总权重发生了变化；如果某请求中没有出现指定的参数或其没有有效值，则使用轮叫算法对相应请求进行调度；此算法默认为静态的，不过其也可以使用hash-type修改此特性； 3.17 hdr(
（见图6）里，需要代表每个前端job的asset，表示每个cell负载均衡器配置的asset，全局负载均衡器配置的asset，以及Spanner DB schema的asset。 asset是具有以下结构的通用抽象： string标识符，简称为“asset ID”负载0个或者多个插件 负载和插件是任意protobuf[3]消息。负载的类型定义了asset的类型。比如，如果负载是类型为prodspec.asset.BorgJob的protobuf消息，意味着这个asset表示运行在Borg上的job，并且会作为BorgJob asset被引用。 插件使得可以给asset添加任意元数据，无论是什么类型。插件对于跨领域问题特别有用。比如，常见的“受影响集群”插件让大家能够了解asset的影响域——如...阅读全文
CST 2019 storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39 clusterID=CID-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4 cTime=0 datanodeUuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4 storageType=DATA_NODE layoutVersion=-56 具体解释: storageID：存储id号。 clusterID集群id，全局唯一。 cTime属性标记了datanode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。 datanodeUuid：datanode的唯一识别码...阅读全文
记录的更改）。在我们的例子中，控制器通过一个 Informer 注册一个创建事件的特定回调函数（更多信息参加下文）。 当 Deployment 第一次对外可见时，该 Controller 就会将该资源对象添加到内部工作队列，然后开始处理这个资源对象： 通过使用标签选择器查询 kube-apiserver 来检查该 Deployment 是否有与其关联的 ReplicaSet 或 Pod 记录。 有趣的是，这个同步过程是状态不可知的，它核对新记录与核对已经存在的记录采用的是相同的方式。 在意识到没有与其关联的 ReplicaSet 或 Pod 记录后，Deployment Controller 就会开始执行弹性伸缩流程： 创建 ReplicaSet 资源，为其分配一个标签选择器并将其版本号设置...阅读全文
最早的，且使用次数最少的key），只淘汰设定了有效期的key allkeys-lru：使用LRU算法进行数据淘汰，所有的key都可以被淘汰 volatile-random：随机淘汰数据，只淘汰设定了有效期的key allkeys-random：随机淘汰数据，所有的key都可以被淘汰 volatile-ttl：淘汰剩余有效期最短的key 最好为Redis指定一种有效的数据淘汰策略以配合maxmemory设置，避免在内存使用满后发生写入失败的情况。 一般来说，推荐使用的策略是volatile-lru，并辨识Redis中保存的数据的重要性。对于那些重要的，绝对不能丢弃的数据（如配置类数据等），应不设置有效期，这样Redis就永远不会淘汰这些数据。对于那些相对不是那么重要的，并且能够热加载的数据（比...阅读全文
