生成在 3.0 和KIP-730 中，Kafka 控制器现在完全接管了生成 Kafka 生产者 ID 的责任。控制器在 ZK 和 KRaft 模式下都这样做。这让我们更接近桥接版本，这将允许用户从使用 ZK 的 Kafka 部署过渡到使用 KRaft 的新部署。KIP-679：Producer 将默认启用最强的交付保证从 3.0 开始，Kafka 生产者默认开启幂等性和所有副本的交付确认。这使得默认情况下记录交付保证更强。KIP-735：增加默认消费者会话超时Kafka Consumer 的配置属性的默认值session.timeout.ms从 10 秒增加到 45 秒。这将允许消费者在默认情况下更好地适应暂时的网络故障，并在消费者似乎只是暂时离开组时避免连续重新平衡。KIP-709：扩展...阅读全文
Server、Connection、Request，不仅将上游的信息共享给下游任务，同时实现了上游可发送取消信号取消所有下游任务，而下游任务自行取消不会影响上游任务。总结context主要用于父子任务之间的同步取消信号，本质上是一种协程调度的方式。另外在使用context时有两点值得注意：上游任务仅仅使用context通知下游任务不再需要，但不会直接干涉和中断下游任务的执行，由下游任务自行决定后续的处理操作，也就是说context的取消操作是无侵入的；context是线程安全的，因为context本身是不可变的（immutable），因此可以放心地在多个协程中传递使用。参考资料1、Package context2、Go Concurrency Patterns: Context3...阅读全文
#TTYPath=/dev/console MaxLevelStore=warning MaxLevelSyslog=warning MaxLevelKMsg=warning MaxLevelConsole=info #MaxLevelWall=emerg #LineMax=48K 配置目录及其优先级 默认设置是在编译期间确定的， 所以仅在确实需要修改默认设置的情况下， 才需要使用配置文件。位于 /etc/systemd/ 目录中的初始配置文件， 仅包含了展示选项默认值的注释， 目的在于方便系统管理员查看和直接修改。 如果软件包想要自定义某些默认设置， 那么必须将自定义的配置文件安装到 /usr/lib/systemd/*.conf.d/ 目录中。 /etc/ 目录仅供系统管理员使用。 系统管理员可以利用...阅读全文
消息的同步方式，有效值为 automatic 和manual 2. 通过监控面板设置镜像队列 请注意一个事实，镜像配置的 pattern 采用的是正则表达式匹配，也就是说会匹配一组。 RabbitMQ集群节点失效，MQ处理策略： 如果某个 slave 失效了，系统处理做些记录外几乎啥都不做：master 依旧是master，客户端不需要采取任何行动，或者被通知 slave 失效。 如果 master 失效了，那么 slave 中的一个必须被选中为 master。被选中作为新的 master 的 slave 通常是最老的那个，因为最老的 slave 与前任 master 之间的同步状态应该是最好的。然而，特殊情况下，如果存在没有任何一个 slave 与 master 完全同步的情况，那么前任...阅读全文
“如果把Sam Altman扔到某个食人族之岛，5年后他会成为这个食人族岛的国王。“ 在硅谷创业教父Paul Graham的眼里，Sam Altman是一位极具魄力的领导者和开拓者。如今，已成为OpenAI CEO的Sam Altman是全球范围内当之无愧的科技领军人物。 他的职业生涯可谓一路开挂。从斯坦福大学计算机系辍学后，19岁的他成立了位置服务提供商Loopt，而后被预付借记卡业务公司Green Dot收购，2014年，YC创始人Paul Graham选择他成为继任者，在不到30岁时开始在全球创业创新领域大放异彩。 2015年，他与马斯克等人共同成立OpenAI，2019年，Sam Altman离任YC总裁，成为OpenAI的CEO，并相继领导推出重量级AI模型GPT-3、DaLL...阅读全文
于理论上的设计，也就是上面4个步骤的确定，一旦设计完成，实现部分就会非常简单。 使用动态规划求解问题，最重要的就是确定动态规划三要素： （1）问题的阶段 （2）每个阶段的状态 （3）从前一个阶段转化到后一个阶段之间的递推关系。 递推关系必须是从次小的问题开始到较大的问题之间的转化，从这个角度来说，动态规划往往可以用递归程序来实现，不过因为递推可以充分利用前面保存的子问题的解来减少重复计算，所以对于大规模问题来说，有递归不可比拟的优势，这也是动态规划算法的核心之处。 确定了动态规划的这三要素，整个求解过程就可以用一个最优决策表来描述，最优决策表是一个二维表，其中行表示决策的阶段，列表示问题状态，表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值（如最短路径，最长公共子序列，最大价值...阅读全文
。 版本发布管理 所有的配置发布都有版本概念，从而可以方便地支持配置的回滚。 灰度发布 支持配置的灰度发布，比如点了发布后，只对部分应用实例生效，等观察一段时间没问题后再推给所有应用实例。 权限管理、发布审核、操作审计 应用和配置的管理都有完善的权限管理机制，对配置的管理还分为了编辑和发布两个环节，从而减少人为的错误。所有的操作都有审计日志，可以方便的追踪问题。 客户端配置信息监控 可以在界面上方便地看到配置在被哪些实例使用。 部署简单 配置中心作为基础服务，可用性要求非常高，这就要求 Apollo 对外部依赖尽可能地少，目前唯一的外部依赖是 MySQL，所以部署简单，只要安装好 Java 和 MySQL 就可以让 Apollo 跑起来。 Apollo 配置中心适用范围 既然 Apollo 定位...阅读全文
vi(vim)是上Linux非常常用的代码编辑器，很多Linux发行版都默认安装了vi(vim)。vi(vim)命令繁多但是如果使用灵活之后将会大大提高效率。vi是“visual interface”的缩写，vim是vi IMproved(增强版的vi)。在一般的系统管理维护中vi就够用，如果想使用代码加亮的话可以使用vim。 基本上vi可以分为三种状态，分别是命令模式（command mode）、输入模式（Insert mode）和底行模式（last line mode），各模式的功能区分如下： 1) 命令模式（command mode） 控制屏幕光标的移动，字符、字或行的删除，移动复制某区段及进入插入模式、底行模式下。 2) 输入模式（Insert mode） 只有在输入模式下，才可以...阅读全文
Ceph 的差异。顾名思义，GlusterFS 是来自 Linux 世界的文件系统，并且遵守所有 POSIX 标准。尽管你可以将 GlusterFS 轻松集成到面向 Linux 的环境中，但在 Windows 环境中集成 GlusterFS 很难。 Ceph 是一种全新的存储方法，对应于 Swift 对象存储。在对象存储中，应用程序不会写入文件系统，而是使用存储中的直接 API 访问写入存储。因此，应用程序能够绕过操作系统的功能和限制。如果已经开发了一个应用程序来写入 Ceph 存储，那么使用哪个操作系统无关紧要。结果是，Ceph 存储在 Windows 环境中像在 Linux 环境中一样容易集成。 基于 API 的存储访问并不是应用程序可以访问 Ceph 的唯一方式。为了最佳的集成，还有一个...阅读全文
，并且肯定会占据PHP市场的一部分，但是不能完全取代 PHP。 Node.js 和 PHP 之战，你更偏向谁？【本文转自开源中国】...阅读全文
外媒 betanews 近日与一些企业高管进行了一些交流并得出结论称，开发者体验正经历一个优先级转变。即，云供应商和技术公司在开发者体验方面聚焦了更多的目光；这些公司正在投资和构建工具，以帮助开发人员更好、更快、更高效地工作。 开源数据库公司 Percona 的产品高级副总裁 Donnie Berkholz 指出，发生这种焦点变化的原因在于，企业希望他们的开发人员更有生产力，对他们的工作方式更加满意，但他们也希望围绕技术管理和控制自己的命运。他们希望提供同样水平的速度和效率，但要跨越他们的 IT stacks 来设置东西。对于运行私有云的公司来说，这就是要与那些完全致力于公共云的竞争对手平起平坐。 并补充称，开发者体验投资将是为了使这种自助式的构建应用程序的方法能够发挥作用，并迅速发挥作用...阅读全文
没有人在做任何竞选活动。” 为什么大家都不愿担任领导人呢？ Debian 领导人的主要职能有两项：一方面是代表 Debian 到世界各地，在会议上进行分享，同时处理项目与其它团队和公司的关系；另一方面是行政上的，领导人要管理项目资金，任命开发者在项目中担任不同角色，并负责项目中的一些细节。 但是公开信中也指出，实际上，因为 Debian 项目把各种各样的权限都下放到社区成员中，导致领导人的实权实际上并没有多少。比如，个别开发者几乎可以完全控制他们维护的软件包；开发人员之间的技术分歧很大的时候，将由项目技术委员会处理；发布管理者与 FTP 主人有权最终决定项目实际发布的内容，以及何时发布；项目秘书负责确保遵循必要的程序；政策团队处理项目的大部分总体设计。 另一方面，Debian 领导人这个职位...阅读全文
Kubuntu 和 MATE 等官方变体外，还有 Linux Mint、Linspire 和 Zorin 等第三方变体。Dibian 本身也广泛用于运行本地和公有云上的服务器应用，并且是完全免费的。当然，Google 和 AWS 也位列此次 DebConf20 大会的白金赞助商。Debian 是由美国非盈利组织 SPI（Software in the Public Interest，公共利益软件组织）运营的。 “Debian 人不喜欢花钱，对此有负罪感。” 在本次 DebConf20 线上大会上，Carter 在“Debian 现状”部分报告了 Debian 项目具有非常健康的财务状况。他指出，项目受益于 SPI 等多家组织，目前银行账户金额超过 90 万美元。“一旦做事缺钱，就会有（赞助商）出手...阅读全文
。 依赖 RMI-IIOP、javax.activity 包或 CORBA API 的 CORBA 应用程序将无法通过编译或运行。 红帽首席软件工程师 Aleksey Shipilëv 最近发推文说，由于 JAXB 模块被 JEP-320 移除，因此 SPECjbb2015 基准测试在 Java 10+上出现了问题。建议加入 JAXB 依赖来解决该问题： javax.xml.bind jaxb-api 2.3.0 新的 Java SE 版本发布周期 随着 JDK 10 发布六个月之后，JDK 11 计划于 2018 年 9 月发布，新的 Java 发布 版本周期 已经全面铺开。开发人员可能已经习惯于多年一次的 Java 新版本发布，可能由于新版本节奏发生变化，感觉受到轻微的冲击。 Java 社区...阅读全文
今天，我来为大家解读一幅来自 TurnOff.us 的漫画 “InSide The Linux Kernel” 。TurnOff.us 是一个极客漫画网站，作者 Daniel Stori 画了一些非常有趣的关于编程语言、Web、云计算、Linux 相关的漫画。今天解读的便是其中的一篇。 在开始，我们先来看看这幅漫画的全貌！ Inside the Linux Kernel 这幅漫画是以一个房子的侧方刨面图来绘画的。使用这样的一个房子来代表 Linux 内核。 地基 作为一个房子，最重要的莫过于其地基，在这个图片里，我们也从最下面的地基开始看起： Filesystem 地基（底层）由一排排的文件柜组成，井然有序，文件柜里放置着“文件”——电脑中的文件。左上角，有一只胸前挂着 421 号牌的小企...阅读全文
-versions #### API kubectl get events #### 查看事件 kubectl get nodes //获取全部节点 kubectl delete node k8s2 //删除节点 kubectl rollout status deploy nginx-test 创建 kubectl create -f ./nginx.yaml #### 创建资源 kubectl create -f . #### 创建当前目录下的所有yaml资源 kubectl create -f ./nginx1.yaml -f ./mysql2.yaml #### 使用多个文件创建资源 kubectl create -f ./dir #### 使用目录下的所有清单文件来创建资源 kubectl...阅读全文
播，Windows 和 Linux 的开放源码贡献者能够共享两个生态系统的精华。 2.兼容性 目前尚不清楚如果 Windows 用户空间从 NT 迁移到 Linux 内核，是否能够保持良好的兼容性，特别是那些拥有关键任务应用、付费获取的东西。 Windows 没有像 Linux 那样严格区分内核空间和用户空间。NT 内核大约有 400 个已记录的 syscalls 以及大约 1700 个已记录的 Win32 API 调用。对于重新部署从而确保 Windows 开发者和他们工作达到预期的兼容性这是非常庞大的工作量，这完全超过了 Wine 提供的修正贡献。 Linux 在 arm64 上只有 313 个 syscalls，而另一个原因是微软已经从 WSL 1 中的 syscall 翻译层...阅读全文
个容器就可以跑起来，而不用知道它的节点在哪里，即 Serverless 形态。一旦这种技术更加成熟，对容器技术的落地也有很大的推动作用。另一方面，Serverless 形态也给用户节省了大量的成本，按需付费，免去用户的运维成本。我觉得 K8S 的落地已经是个趋势了，是不可避免的，但是 K8S 本身是要往前进步，它的革命还没有完成。 容器与 Serverless：覆盖场景不同，非替换关系 记者：你觉得现在目前 Serverless 的发展对于容器这种创新技术的迭代升级有什么影响？是不是可以让容器更加的轻量化？ 叶理灯：不完全是这样，其实 Serverless 刚出现的时候是针对计算的。计算分很多层次，有物理机、虚拟机、容器和 Serverless。Serverless 刚出来的时候，它等同于...阅读全文
更早之前，AMD在其EYPC系列CPU中，也用到了"黏合"这一步骤，让芯片设计成本减少一半。自家芯片的“黏合”似乎已经不成问题，那么能否从全球市场上挑选出性能最优的芯片黏合在一起，创造出更强大的芯片？几周前，能够实现芯片互连的"万能胶"出现了，英特尔、AMD、台积电等芯片公司联合成立小芯片互连产业联盟，定制UCIe 1.0（Universal Chiplet Interconnect Express）标准。如果将同一家芯片公司的互连方式（例如英伟达的NVlink）视为只能黏合一种材质且功能单一的胶水，那么UCIe标准的提出则意味着能够实现各种芯片互连的芯片万能胶的雏形初现。芯片万能胶，是否已经有足够的能力替代不断微缩的晶体管，成为摩尔定律的"续命丹"？“胶水”芯片时代的真起点"胶水"芯片发...阅读全文
的是它不是非黑即白的，更多的时候是两者混合的灰色，很少有公司有自由软件基金会（或者类似的组织，比如软件自由保护组织）的那种纯粹的理念，因此我想那些公司也不喜欢选择和那些理念相关的协议。 我需要说明，我不是在这是说自由软件基金会以及类似的组织（比如软件自由保护组织）的错。他们有着打造完全自由的软件的目标，对于他们来说，走它们选择的路十分合理。自由软件基金会以及软件自由保护组织做了了不起的工作，我将继续支持这些组织以及为他们工作的人们。我只是觉得这种对纯粹性的高要求的一个后果就是让那些公司认为自己难以达到要求，因此，他们使用了非 GPL 的其他协议。 我怀疑 GPL 的使用是随着开源软件增长而变化的。在以前，启动（开源）项目的根本原因之一是对开放性和软件自由的伦理因素的严格关注。GPL 无疑是项...阅读全文
server 来解释, Go 服务每次都是启动一个新的 goroutine 来处理每一个请求，在这个请求的操作往往会启动新 goroutine 访问数据库或其他服务，如果此时客户端断开了连接，后续的消耗资源的操作就完全没必要了。所以我们需要一个在 goroutine 之间同步取消信号，截止时间的机制或者特定请求数据。而 Context 被设计出来就是帮我们实现这个目标。 1 2 3 |-----------| |-----------| |-----------| | goroutine |-------> | goroutine |-------> | goroutine | |-----------| |-----------| |-----------| 默认 Context context 包...阅读全文
发语言。早在 2016 年，基础架构团队就已经开始基于 Golang 开发内部框架 Kite，并在 2019 年围绕性能和可扩展启动重构，使其能更好地满足业务发展和技术体系演进需求。 2020 年 10 月，Kitex 正式上线。虽然是一个全新的框架，但经过一年的线上应用，目前字节跳动内部已有超过 50% 的 Golang 微服务迁移到了 Kitex。 下面是 Kitex 的一些特性： 高性能：Kitex 默认集成自研网络库 Netpoll 作为网络传输模块，性能相较使用 go net 有显著优势；除了网络库带来的性能收益，Kitex 对 Thrift 编解码也做了优化，这在之前的性能优化实践文章中有介绍。关于性能数据，可参考 https://github.com/cloudwego...阅读全文
立好需要 listen 的 socket（listenfd）之后，然后再 fork 出多个 worker 进程。所有 worker 进程的 listenfd 会在新连接到来时变得可读，为保证只有一个进程处理该连接，所有 worker 进程在注册 listenfd 读事件前抢 accept_mutex，抢到互斥锁的那个进程注册 listenfd 读事件，在读事件里调用 accept 接受该连接。当一个 worker 进程在 accept 这个连接之后，就开始读取请求，解析请求，处理请求，产生数据后，再返回给客户端，最后才断开连接，这样一个完整的请求就是这样的了。我们可以看到，一个请求，完全由 worker 进程来处理，而且只在一个 worker 进程中处理。 在 Nginx 服务器的运行过程中...阅读全文
派的运维需负责运行该系统。 老派的运维通常是伪君子。他们主张严苛的 SDLC，然后在维护基础架构时却绕过了同样的 SDLC 。新运维意味着基础架构即代码。配置变化即代码。这两个哪个也没能免于开发人员必须遵守的 SDLC。我们编纂变更请求，使用不可改变的基础架构和 AMI。没经历此进程，我们不会把改变推送到真实环境中。同样地，我们需要对合规性和其他开发人员无法产生共鸣的 SDLC 要求进行编码，编到工具和进程中。进程记录并编纂价值。 老派运维总是同精益思维不一致。它完全是中断驱动——灭火后，一个接一个解决问题。同时，取得平衡非常重要。在集成环境中，使开发者团队能够 SSH 登录进 box 中或者将调试器附加到集合上，会阻止他们正确地调试应用程序吗？会促进痛苦移位吗？在运维思维和开发思维间取得平...阅读全文
你打算在程序代码中来设置这个东西，那么可以调用mallopt(M_ARENA_MAX, xxx)来实现，由于我们AuthServer采用了预分配的方式，在各个线程内并没有分配内存，所以不需要这种优化，在初始化的时候采用mallopt(M_ARENA_MAX, 1)将其关掉，设置为0，表示系统按CPU进行自动设置。 意外发现 想到tcmalloc小对象才从线程自己的内存池分配，大内存仍然从中央分配区分配，不知道glibc是如何设计的，于是将上面程序中线程每次分配的内存从1k调整为1M，果然不出所料，再分配完64M后，仍然每次都会增加1M，由此可见，新版 glibc完全借鉴了tcmalloc的思想。【原文出处： 陈斌的博客】...阅读全文
提问者为Linuxstory.org的华华，回答者即为清风博主老师。之前常逛Linux社区的同学，对这个ID应该很熟悉。 A.您与Linux的那些事 1.清风老师能简单的介绍下您自己吗？ 答：中学地理老师，Linux爱好者，Gentoo用户，70后 来张几年前上课摆拍的工作照吧 2.您是因为什么喜欢上折腾Linux的呢？遇到最大的困难是什么呢？ 答：说来话长。初识Linux是在参加工作近10年之后，之前都没听说过Linux。真正知道Linux，是因为自学了点asp，后来在搜索如何搭建更好的网站环境时，才知道了还有这么一个神奇的系统。2008年，有了笔记本电脑后，才尝试安装，发现这个系统太适合拿来折腾了！从入门级的Ubuntu到Gentoo，桌面环境从gnome2、unity、gnome3...阅读全文
Debian 的不舍和热爱。 “如果说我在 Debian 的18年有什么遗憾的话，那就是在 Debian 章程最初制定的时候，尽管感觉到了不妥，但我没有发声。” 同样地，当初 Michael Stapelberg 离开 Debian 也没有“脱粉回踩”，他只是希望自己的文章能激励 Debian 做出改变，继而改进开发者参与维护的体验。 因此，他在博客中苦口婆心地列举出 Debian 的问题（包括包的上传问题、bug追踪问题、邮件列表归档问题等等），然后再给出自己的解决方案。比如他认为，项目应该努力实现更多的统一；Debian 文化需要从“这个包归我管，你不能碰”转变为共同的所有权意识等等。 1993年9月15日，Debian 0.01版发布至今，Debian 已经经历了近三十个春秋。一个完全没有盈利组...阅读全文
