消息发送端： 发送消息如果配置了重试机制，比如网络抖动时间过长导致发送端发送超时，实际broker可能已经接收到消息，但发送方会重新发送消息 消息消费端： 如果消费这边配置的是自动提交，刚拉取了一批数据处理了一部分，但还没来得及提交，服务挂了，下次重启又会拉取相同的一批数据重复处理 一般消费端都是要做消费幂等处理的，比如每条消息使用redis的setnx分布式锁，把消息放redis里，这样两次消息一样的话，第二次的消息是放不进去的。 2.1.3 消息乱序 如果发送端配置了重试机制，kafka不会等之前那条消息完全发送成功才去发送下一条消息，这样可能会出现，发送了1，2，3条消息，第一条超时了，后面两条发送成功，再重试发送第1条消息，这时消息在broker端的顺序就是2，3，1了 所以，是否一...阅读全文
了答案。 从单机到分布式，是追求更快和更高的性能，但也带来了更多的不确定性。比如，不确定计算机何时异常，不确定磁盘何时损坏，不确定网络通信的延迟，也不确定消息是否被正常消费。这些不确定性构成了分布式应用的挑战，简而言之： 异构的机器与网络：稳定性问题普遍的节点故障：可靠性问题不可靠的网络：一致性问题 面对这些挑战，业界提出了诸多的分布式理论、协议，如CAP定理，BASE理论，一致性协议2PC/3PC/ZAB，来保证系统的正常运行。虽然问题貌似是有了解决方案，但是应用的复杂度升高了。应用除了需要实现业务需求，还要兼顾非业务需求，集成诸如服务发现、负载均衡、失效转移、动态扩容、数据分片、调用链路监控等分布式系统的核心功能，对应用有很强的侵入性，这就是以Spring Cloud为代表的微服务框架的...阅读全文
服务化项目服务不可用几十分钟，造成订单数减少几十万笔，损失百万资金。 原因分析 当时是没有定位到具体的原因的，但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快，在高峰期，数据库QPS突破35000，系统处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL，会造成数据库压力急剧上升，应用超时增多，前端应用超时，用户重试，流量飙升，形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差，并且使用的主库，对数据库影响较大。数据库QPS太高，但是缓存方案因为人手原因一直没有落地，慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号，严格按照规范使用 缓存优化方案即时落地，慢SQL问题优先处理，集中处理目前已经发现的慢SQL（查询时间超过1S...阅读全文
文件是必须要做的，但关闭通道不是必须的。关闭后的通道有以下特点：对一个关闭的通道再发送值就会导致panic。对一个关闭的通道进行接收会一直获取值直到通道为空。对一个关闭的并且没有值的通道执行接收操作会得到对应类型的零值。关闭一个已经关闭的通道会导致panic。channel的种类不带缓存的channel一个基于无缓存Channels的发送操作将导致发送者goroutine阻塞，直到另一个goroutine在相同的Channels上执行接收操作，当发送的值通过Channels成功传输之后，两个goroutine可以继续执行后面的语句。反之，如果接收操作先发生，那么接收者goroutine也将阻塞，直到有另一个goroutine在相同的Channels上执行发送操作。基于无缓存Channels的...阅读全文
Spinnaker 是 Netflix 在2015年开源的一款持续交付平台，它继承了 Netflix 上一代集群和部署管理工具 Asgard：Web-based Cloud Management and Deployment的优点，同时根据公司业务以及技术的的发展抛弃了一些过时的设计：提高了持续交付系统的可复用性，提供了稳定可靠的API，提供了对基础设施和程序全局性的视图，配置、管理、运维都更简单，而且还完全兼容 Asgard，总之对于 Netflix 来说 Spinnaker 是更牛逼的持续交付平台。 在深入了解 Spinnaker 之前，先扯一扯 Netflix 的技术文化：这是一家全面拥抱云的公司，据报道数据中心完全部署在 AWS 上，是 AWS 的超级大客户。在上云后他们发现故障仍...阅读全文
Williams 却坚持认为取代 live-build 很有必要。Learmonth 给 live-build-ng 换了一个争议性也许小一些的名字： live-wrapper 。他说他的目标是为 Debian Live 项目加入新的工具（并且「把 Debian Live 项目引入 Debian 里面」），但是完成这件事还需要很大的努力。 我向已经被 ITP 问题所困扰的每个人道歉。我们已经告知大家 live-wrapper 还不足以完全替代 live-build 且开发工作仍在进行以收集反馈。尽管有了这部分的工作，我们收到的反馈缺并不是我们所需要的。 这种对于取代 live-build 的强烈反对或许已经被预知到了。自由软件社区的沟通和交流很关键，所以，计划去替换一个项目的核心很容易引起争议——更何况是...阅读全文
=nobody TCP4:目标地址:目标端口号 >> /var/log/socat.log 2>&1 &nohup /usr/bin/socat -d -T 60 UDP4-LISTEN:本机端口号,reuseaddr,fork,su=nobody UDP4:目标地址:目标端口号 >> /var/log/socat.log 2>&1 &上面两条命令可在 root 用户下执行。 目标机的设置此处示例的目标机为 Debian & Ubuntu 系统，安装并启用了 UFW：如需同时允许 TCP 和 UDP 入站：1sudo ufw allow from 中转机地址 to any port 端口号如需只允许 TCP 入站：1sudo ufw allow proto tcp from 中转机地址 to any...阅读全文
件公司Tableau卖给了Salesforce公司。AWS业务有点像自助餐，给开发者和终端用户提供了几百种在线服务自由选择，另外每年还不断推陈出新。从财务角度看，这一业务还是个“黑箱”。亚马逊没有披露云计算业务的具体营收来源，也没有给出各个子版块的利润率情况。AWS诞生初期，就是作为一个基础计算服务的外包供应商，包括计算资源和数据存储等。可以判断，该业务大部分收入和利润仍然来自这些业务。科技业人士克里·奎因（Corey Quinn）曾经在私营的Duckbill集团担任首席云经济学家，帮助客户公司降低他们在亚马逊云计算的开支。奎因预测，AWS一半以上的收入来自于EC2计算服务。这一服务相当于让企业用户在亚马逊数据中心租赁到了实体服务器虚拟的“一部分”。奎因表示，计算服务再加上“弹性块存储...阅读全文
