XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 v2.0.0 Release Notes 1、调度中心迁移到 springboot ； 2、底层通讯组件迁移至 xxl-rpc ； 3、容器化：提供官方 docker 镜像，并实时更新推送 dockerhub（docker pull xuxueli/xxl-job-admin），进一步实现产品开箱即用； 4、新增无框架执行器 Sample 示例项目 “xxl-job-executor-sample-frameless”。不依赖第三方框架，只需 main 方法即可启动运行执行器； 5、命令行任务：原生提供通用命令行任务 Handler（Bean...阅读全文
() × a.MemTotalCost() - CPU 的成本效率：cpuCostEff = a.CPUEfficiency() × a.CPUTotalCost() - **总成本效率**：totalEff=（MemCostEff + cpuCostEff) / (a.CPUTotalCost() + a.MemTotalCost()) ### 优化建议 在判断哪些业务需要优化以及如何优化成本结构，可以先查找 TOP 10 的某种资源浪费，例如资源的 Usage 和 Request 差别较大，可以根据应用监控画像给出推荐的 Request，最后计算出每种资源可节省的成本。 ### 评估经济学边际成本 关于节点自动扩容部分，可以衡量一个集群中每个节点，假设 CPU 和 Mem 每增加 1C1G，最终成本达到多少，是否会出现规模...阅读全文
本文大部分内容翻译总结自《Software Engineering at Google》 第10章节 Documentation。 另外，该书电子版近日已经可以免费下载了 https://abseil.io/resources/swe_at_google.2.pdf，有兴趣的同学可以下载翻阅下。 首先声明，本问所说的文档不仅限于纯文本文档，还包含代码注释(注释也是一种特殊形式的文档)。 ## 文档的重要性 ## 高质量的文档对于一个组织或团队来说有非常多的益处，比如让代码和API更容易理解、错误更少；让团队成员更专注于目标；也可以让一些手工操作更容易；另外如果有新成员加入的话有文档也会让他们更快融入…… 写文档有比较严重的收益滞后性，不像测试，你跑一个测试case，它能立即告诉你是对还是错...阅读全文
由一列参数来定义jobs的行为。 job_name: script: - rake spec - coverage stage: test only: - master except: - develop tags: - ruby - postgres allow_failure: true Keyword Required Description script yes Runner执行的命令或脚本 image no 所使用的docker镜像，查阅使用docker镜像 services no 所使用的docker服务，查阅使用docker镜像 stage no 定义job stage（默认：test） type no stage的别名（已弃用） variables no 定义job级别的变量...阅读全文
常是对产品供应商有利，而非客户。如果软件停止运行，或者如果供应商要求支付更多的费用，你甚至无法起诉供应商的不当行为。而像 GPL 一类的开源许可证就是为保护客户专门设计的，而不是供应商，它确保你按照自己的需求使用软件，而没有专制限制。 由于它们的广泛使用，GPL 及其衍生许可的含义被广泛理解。 例如，许可证允许你现有(开源或闭源)基础设施通过定义良好的 API 与其连接，对时间或用户数量没有限制，并且不会强制你打开配置或知识产权 财产(如公司标志)。但有一个问题就是，有一些开源内核混合了 GPL 和专有软件的条款，这违反了许可证规定，会将客户置于危险境地。 使用专有软件意味着你需要面对严苛的法规遵从性条款，还有承担高额罚款的风险。...阅读全文
Java 架构师是什么？是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展，为目标客户提供更为全面的需求清单。 所谓架构师，思考的是全局的东西，是如何组织你的系统，以达到业务要求，性能要求，具备可扩展性（scalability），可拓展性（extendability），前后兼容性等。可能涉及到的东西包括了从硬件到软件的方方面面。 架构师在软件开发的整个过程中起着很重要的作用。 架构师的主要任务不是从事具体的软件程序的编写，而是从事更高层次的开发构架工作。他必须对开发技术非常了解，并且需要有良好的组织管理能力。可以这样说，一个架构师工作的好坏决定了整个软件开发项目的成败。 在成为Java架构...阅读全文
也预想了这种情况，在没有项目负责人的情况下，技术委员会主席和项目秘书有权做出各种决定，前提是他们能够达成一致。信中对这种情况表示乐观：“由于 Debian 开发人员向来以‘非争论群体’著称，所以达成一致应该不成问题。”但很明显这种不确定因素过高的方案不是一个良策。 联系一下此前 Debian 包维护者 Michael 对社区的不满，他认为 Debian 整个开发评估流程都非常迟缓，比如补丁的评估没有截止日期，有时候他会收到通知说几年前递交的补丁现在合并了；赋予维护者的个人自由度太高，一些维护者可以出于个人喜好拒绝合作等，这些都对 Debian 的发展产生不好的影响。 就像 Michael，许多人都认为社区内部给予开发者的自由度过高，并且带来不好的影响。按照前边对于 Debian 领导人实权的...阅读全文
Cargo 项目中选择默认二进制文件 cargo run 对于快速测试 CLI 应用程序是可以的，当多个二进制文件出现在同一个包中时，必须使用 --bin 标志显式声明要运行的二进制文件的名称。这使得 cargo run 不像我们想要的那样符合人机工程学，特别是当一个二进制文件比其他的更频繁地被调用时。 Rust 1.37.0 通过添加 default-run 来解决这个问题，这是 Cargo.toml 中的一个新键，当这个键在 [Package] 部分中声明时，如果没有传递 --bin 标志，cargo run 将默认为所选的二进制文件。 枚举上的 #[repr(align(N))] #[repr(align(N))] 属性可用于提高类型定义的对齐性。以前，该属性仅允许在 struct 和...阅读全文
如果你看过谍战片、动作片或犯罪电影，你就会在脑海中勾勒出黑客坐在电脑屏幕前的样子：一行行快速移动的代码，大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界地图，上面有一些发光点和一些快速更新的图表，也许还会有三维几何图形。如果可能的话，这一切还可以显示在多个显示器上面。 当然，我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器（或更多），但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管理项目和管理系统与股票交易不同。我们遇到的大多数情况都需要我们对试图解决的问题进行大量思考，与利益相关者进行良好的沟通，进行一些研究以及组织信息，然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时，我们只是想让自己看起来“有效率”。 旁...阅读全文
。其结果应该是，那些比较传统的公司的开发人员可以获得与其他公司使用云原生方法的开发人员一样的好处。希望这些实施方案能够帮助开发人员提高生产力，并且他们乐意留在这些公司，而不是转到其他岗位。 基于云的机器数据分析公司 Sumo Logic 的首席产品经理兼开源大使 Frank Reno 认为，开发人员是开源快速增长的因素之一。开发人员都希望在一个社区中与他人一起工作，与更大的团队合作，为更大的项目做出贡献。“特别是在 COVID-19 期间，我们不像以前那样紧密。因此，我们所能做的任何事情都是为了培养更好的体验，无论是对个人开发者还是一群开发者，都有很大的帮助。每个供应商和每个客户都应该认识到开发人员的重要性。” 为了达到这一目的，DataStax 战略副总裁 Bryan Kirschner 则...阅读全文
现的问题。” “我看到有人抱怨说，Java 10 不应该在 IDE 更新后才能发布，就像鸡和鸡蛋问题一样，除非鸡已经存在并且等待鸡蛋出现。” “2016 年的抱怨者：让我们用 JavaScript 代替（YOLO）。2018 年的抱怨者：还是 2016 年的那波抱怨者，他们现在又转回 Java，因为 YOLO 太难维护了。” “因为 Oracle，Java 命中注定。” 时间会告诉我们这个新的发布周期会将如何影响 Java 社区。 其他资源 Wikipedia 中列出的 Java 版本历史记录 Donald Smith 的 JavaFX 和其他 Java 客户端路线图（2018 年 3 月 7 日） Simon Ritter 的 Duke Takes His Last Tumble（2018...阅读全文
测试已发布，并且与containerd集成的 Alpha版的现已可用，它支持基本的Pod生命周期和镜像管理。在该Kubernetes已发表的博客帖子中，可以了解到CRI的更多信息。 商业版的Google Cloud Platform（GCP）Container Engine（GKE）提供了最新的Kubernetes 1.7发布版，并已进一步提供了开源的Kubernetes发布版与Google各平台间的集成，包括：使用Google Cloud Load Balancing（GCLB）的HTTP重加密，使客户可以在从GCLB到他们的服务后端上使用HTTPS；解决了[对所有私有IP的GA支持]问题(https://cloud.google.com/container-engine/docs/ip...阅读全文
Size (KiB)The amount of shared memory available to a task, not all of which is typically resident. It simply reflects memory that could be potentially shared with other processes.共享内存的大小程序共享内存的数据量，并不是全部驻留在内存空间，通常反映了与其他程序潜在共用的内存。那为什么influxd会有那么高的共享内存？通过linux进程smaps分析当前实际占用内存的大小。注: smaps中有些文件的引用仅占用虚拟内存，而不占用物理内存#influxdb当前程序运行pid为: 9571 #1.计算influxdb数据文件...阅读全文
，Debian 邮件列表出现了一封标题为“Leaderless Debian”的公开信，文章表示，这年的3月3日-10日是候选人提名阶段，然而，截至公开信发出，还没有一位符合资格的 Debian 开发者提交申请。 此前的 Debian 领导人 Chris Lamb 一直被寄予厚望，他已经连任了两年，但是今年他公开表示因为一些 Debian 相关的，以及一些私人的原因不参与竞选。由此，Debian 不得不根据章程延长提名时间，直至有人提交申请为止。 当然，最后还是有人跳了出来参加竞选。这里要指出的是，这一尴尬事件非常直观地反映出一个事实 —— DPL 并不吃香。 准确来说，在 Debian 章程的制约下，DPL 是一个没有绝对权利的虚席。 首先，DPL 并不接触具体业务，他可以任命某人执行专门的任务，而这...阅读全文
你有没有想过为什么安装在你系统上的某个二进制文件或软件包没有按预期的那样来运行，或者说没有按正常的方式来运行，也许它根本就无法启动。 考虑到这是维护系统上未损坏软件包的一个重要因素，因而对照存储在软件包中的信息，验证文件系统上的文件是个重要步骤，为此需要阅读本文。 推荐阅读：《学会如何在Linux下生成MD5校验和并使用它来校验文件?》 如何对照MD5校验和校验已安装的Debian软件包? 在Debian/Ubuntu系统上，你可以使用debsums工具来校验已安装软件包的MD5和。如果你想在安装之前知道关于debsums软件包的信息，可以使用APT-CACHE，就像这样： $ apt-cache search debsums 下一步，使用apt命令来安装它，如下所示： $ sudo...阅读全文
虽然2016年内Linux在桌面领域并没什么大动作，但作为开源运动的绝对代表，它依然给我们带来一系列大新闻。本文列出了2016年Linux领域的十条大新闻，赶紧看看是不是你关注的。 虽然2016年内Linux在桌面领域并没什么大动作，但作为开源运动的绝对代表，它依然给我们带来一系列大新闻。下面一起来看。 1. Linux迎来25岁生日 岁月如梭，25年前Linus Torvalds向comp.os.minix Usenet小组宣称，他正在“为386(486)AT克隆机开发一款自由操作系统(只是种爱好，不会像GNU那种庞大且专业)。”自1991年开始，Linux的发展速度远远超出了Torvalds的想象。各类规模的企业都在使用Linux，而Linux也支撑着各类计算机、移动设备乃至联网硬件...阅读全文
，所以，从计算的历史来说，这实际上是规模最大的，Linux的规模扩展还是非常好的。” （3）在Linux 与人工智能、云计算、物联网结合方面，Jim 也发表了一些自己的观点：在云计算里面，像Kubernetes对于云应用的开发是发展最快的；在人工智能机物联网项目方面，Linux 的 EdgeX 项目和 IOT 项目在这些方面也有很多开源的项目。 （三）开源方面，中国正大步迎头赶上，高质量开源项目不断发展 近几年来，中国越来越多的开发者加入开源，但是在 GitHub上来自中国的高质量开源很少，大部分都是来自于国外。Jim 认为产生这种差距的其中一个原因在于美国的软件开发历史比中国要长一些。 而不可否认的是，中国在开源方面正大步地迎头赶上。正如 Jim 所说“中国有一些高质量的开源项目也在不断地发...阅读全文
，每一个节点上创建一个 Pod 已经有了一个更新特性，在1.7中添加了更加机智的回滚和历史回溯能力。 一个新的 StorageOS 卷插件能从本地的和连接的节点存储中提供高可用的、集群范围的持久性卷。 可扩展性： 运行时的 API 聚合是这次发布中最强大的特性，可以让高级用户向集群中添加预先构建的、第三方的或者用户自制的具有Kubernetes风格的API。 容器运行时接口（CRI）通过新的从运行时获取容器指标的 RPC 调用得到增强。CRI 的验证测试已经发布，和containerd 1.0的整合处于 alpha 状态，现在支持基本的 Pod 生命周期和镜像管理。可以阅读我们之前深入介绍 CRI 的文章。 其他特性： 引入了对于外部的准入控制器的支持，现在处于 alpha 状态，提供了两种选...阅读全文
差，但是更便宜的成本、更大容量的优势是无法忽视的。随着技术的不断发展和成熟，QLC就像当年TLC一样从不被接纳到广泛认可也是早晚的事情. 其实不管是TLC还是QLC，只要价格够便宜，容量够大，速度够快，寿命有保障，总会获得消费者的喜欢，赢得属于自己的市场份额。 而对于HDD来说，QLC的出现将带来更大的威胁。或许真正QLC SSD普及之时，才是HDD 跟我们Say byebye之时。...阅读全文
-authenticator 运行这个程序时，会问到几个问题。你应该以适合你的设置的方式回答，最安全的选项是对每个问题回答y。如果以后需要更改这些选项，你可以简单地重新运行 google-authenticator 并选择不同的选项。 当你运行 google-authenticator 时，一个二维码会被打印到终端上，二维码下方的代码样例如下: Your new secret key is: 75YD5PTE6R65BYFR2AWQGUV6FE Your verification code is 781629 Your emergency scratch codes are: 12321432 29069242 34406891 34387624 79357602 你应该将所有这些代码记录到一个像密码管理器一样安全的...阅读全文
、 OpenSSH 和 Mutt 的部分语言的手册页，例如法语、西班牙语和马其顿语，得到了明显改进。欲获得此项改进，请安装 manpages-*xx*（其中 xx 是您所需的自然语言的代码）。在 bullseye 的生命周期中，进一步的翻译改进将会通过 backports 仓库提供。更多详情可查看：https://www.debian.org/News/2021/20210814 图像 小部件...阅读全文
延迟会使人感觉到移动浏览速度很缓慢。不幸的是，数据加密会进一步降低连接的速度。而 TLS1.3 有助于改善这种状况。 要向加密网站发送一条消息，你必须首先建立共用密钥。这一过程叫做一次握手。它要求有专门的消息往来于浏览器和网站之间。只要你的浏览器连接到一个加密站点，TLS握手就会在后台发生。 对于TLS1.2来说，在请求发送出去之前，需要2次消息往来才能完成握手。通过移动网络访问一个站点时，加载时间会额外增加超过半秒钟。而对于TLS1.3来说，首次握手只需要1次消息往来。这就像把一辆0-60迈加速需10秒的旅行车升级成一辆只需5秒的特斯拉Model S。如果一次连接所需的消息往来耗时约100毫秒，那么TLS1.3的速度提升足以让那些反应迟缓（加载时间超过300毫秒）的站点变得足够快（加载时间...阅读全文
。我满足于坚持使用默认设置，不过我很欣赏这一点：Debian提供了一种选择，然后放心让用户做出正确的选择。 4.不一样的说明文档 Debian的说明文档散布于无数个网站，并不经常被讨论。然而，这些年来，我发现，如果我将“Debian”添加到我的互联网搜索，选择近些年来的结果，几乎总是会找到一个网页给出详细的逐步说明，帮助解决我要解决的那个问题。 3.迅速修复错误 我没听说过另外哪个发行版像Debian这么迅速地应对安全或者技术问题。无论Debian维护人员是单枪匹马还是团队合作，他们的响应时间表明了勤勤恳恳的工作态度，值得用户依赖。如果说Debian有时似乎比其他发行版更频繁地更新，那不是由于它有更多的错误，而是由于被其开发人员疏忽的错误比较少。 2.控制安装环节 Debian很早以前就取得了...阅读全文
了十个速度最快的镜像，然后把它们写入到你的软件包源列表。apt-spy执行类似的功能。 3. apt-transport-tor 你可能也知道了，Tor是一款匿名浏览工具。然而，即便你注重安全，下载软件包有可能让别人跟踪你的活动，进而一路跟踪你的系统。 apt-transport-tor让你可以堵住这个安全漏洞，它通过Tor来传输软件包管理指令。 2. cron-apt 如果你注重安全，或者只想要最新软件包，cron-apt可以帮助你确保版本最新。顾名思义，cron-apt可以为你的系统调度定期下载，并通知可用更新版。用户往往每天更新一次。 然而要注意：cron-apt下载但不安装更新的软件包。这个限制是有意设置的，因为在无人照看的情况下安装一切会导致系统问题。检查什么更新版可用后，你可以手...阅读全文
者自己手机自带的商店。2. 进入开户流程准备好所需材料，开始进入开户流程。1 打开APP 选择简体中文。如果没有弹出，可以点击右上角来选择语言。然后，点击 【注册成为新客户】2 选择第二项 【持电子护照的外国人】，然后点击【开始申请】输入介绍人代码 【 IRVU37JB 】，可以获得 15 新币，大约80元人民币的奖励。不写的话没有任何奖励。3 国家代码点进去选择中国大陆 +86，手机号和邮箱输入自己的即可。然后，接收验证码并填写。4 点击下一步，扫描护照条形码。这一步，把护照打开到有人像的那一页，然后在光线充足的地方使用手机扫描。 需要一些耐心，扫描可能不会很快，手拿稳多试试即可。5 NFC 读取护照芯片。护照合上，手机背面贴在护照正面上，开始读取。缓缓移动手机，调整到可以读取的...阅读全文
CentOS 的构建和分发做出贡献。CERN 帮助 CentOS 提供基础架构，他们还组织了 CentOS DoJo 活动（LCTT 译者注：CentOS Dojo 是为期一日的活动，汇聚来自 CentOS 社群的人分享系统管理、最佳实践及新兴科技。），工程师可以汇聚在此共同改进 CentOS 的封装。除了 OpenStack 和 CentOS 之外，CERN 还是其他开源项目的深度用户，包括用于配置管理的 Puppet、用于监控的 Grafana 和 InfluxDB，等等。“我们与全球约 170 个实验室合作。因此，每当我们发现一个开源项目的改进之处，其他实验室便可以很容易地采纳使用。”Bell 说，“与此同时，我们也向其他项目学习。当像 eBay 和 Rackspace 这样大规模的装机量提高了...阅读全文
显示在二者当中。 3. 桌面部件。桌面部件是指那些小型且功能专一的应用，我们可将它们随意添加到桌面当中。Cinnamon提供的选项包括CPU监控、磁盘监控、天气应用、便签、桌面相框、时间与日期等。 4. 速度。Cinnamon的运行速度极快，程序加载与显示速度也令人满意。虽然这只是根据我的主观感受而且未经任何定时测试，但可以肯定的是，它的速度表现绝不会拖累使用感受。 5. 配置。Cinnamon在可配置性方面不及KDE Plasma，但却已经足够使用甚至超出了我的预期。通过主窗口，我们可以启动特定功能配置窗口，并借此选定新的主题外观、容器边框、图标、控件、指针与桌面等。其他可选项还包括字体与背景等等。我发现其中相当一部分配置工具非常出色，且适度的限制意味着Cinnamon不会像KDE那样带来...阅读全文
无意触怒任何为Debian做出了贡献的人，我只是想表达我对Debian太过于失望而决定放手的原因。 到目前为止，Debian出现在我的生命中已经超过10年了。 几个星期前，我在苏黎世Debian聚会上遇见了一些多年未见的老朋友。在骑自行车回家的路上，我突然发现我们讨论的主题与我们上次的讨论大致相同。出于对开源社区的尊敬，我们绕了个圈子先探讨了systemd的好处，然后回到了Debian的讨论，最后兴致所至还谈到了Debian的民主以及他们在理论和实践上的失败。诚然，最后一个话题有点像瑞士。 我说这些不是对Debian聚会有异议，而是因为通过这次聚会我开始反思最近对Debian的感觉，还有它是否适合我。 最终，我做出了一个本应在很久以前就已经做出的决定：我会将有关Debian的工作减到最少...阅读全文
确保它在每一点都得到执行。这听起来像是常识。但与技术中的许多新想法一样，理解零信任的最佳方法是了解它的反应。零信任摒弃了边界安全的观点。在边界安全模型中，在敏感组件周围实施“装甲”。例如，数据中心周围可能有一个防火墙，其任务是阻止问题流量和参与者进入。这种模型，有时被称为城堡策略，具有直观的意义：城堡的墙壁是为了将坏人拒之门外。如果你在城堡里，那么根据定义，你就是一个好人。零信任模型表明，边界安全已经不足。根据零信任原则，即使在安全边界内，仍必须将用户、系统和网络流量视为不受信任。国防部的参考架构很好地总结了这一点：“在安全边界之外或之内运行的任何参与者、系统、网络或服务都是不可信的。相反，我们必须验证任何试图建立访问权限的事物。从边界验证一次到对每个用户、设备、应用程序和交易的持续验证，这...阅读全文
的 K8S 环境不矛盾。 另外一方面，如果说定制的概念是指基于 K8S 本身开发体系所提供的插件机制去做二次开发，那每家厂商都要定制，因为 K8S 本身不是一个产品级就绪的环境，需要使用者去适配网络和存储还有计算，因为每个公有云厂商基于自己的 IaaS 去提供 K8S 产品，必然要去开发插件。 综上，向用户应该提供原生的、标准的 K8S 产品，但底层应该基于自身 IaaS 平台去定制，本质还是为了提高用户使用 K8S 的效率，让用户开箱即用。 K8S 落地挑战：改造成本和人才问题 记者：你觉得目前国内云厂商提供的 K8S 集群编排服务在推广方面目前欠缺的是什么？是什么阻碍了客户进一步去使用这些容器集群服务？ 叶理灯：K8S 以容器技术为核心、以容器镜像为打包标准的特点，意味着如果要迁移到这个...阅读全文
，firefox和chrome就行了；QQ聊天用最新的wine，加上Yuking大神做的一个库跑精简版的QQ，很稳定；日常办公用WPS for Linux，老师用的最多的就是幻灯片，对于从网上下载的课件，Linux下的办公软件中，WPS是兼容性最好的。 12.您怎么看待开源精神，开源与商业？ 答：我是开源精神的支持者，也不反对开源与商业的结合，我认为这也是开源事业能有旺盛的生命力的原因之一。多数人在吃饱穿暖的基础上，才能有更高的追求，不可否认，像Richard Stallman这样的开源领袖，不是每个人都能做到的。但也正是有了这样一群可爱的狂热开源人士，我们的世界才变得更加美好！ B.您与Linux社区 1.请问您有特别加入某个社区吗? 答：2013年的时候，在一位资深Gentooer的鼓动下，打算重建...阅读全文
件公司Tableau卖给了Salesforce公司。AWS业务有点像自助餐，给开发者和终端用户提供了几百种在线服务自由选择，另外每年还不断推陈出新。从财务角度看，这一业务还是个“黑箱”。亚马逊没有披露云计算业务的具体营收来源，也没有给出各个子版块的利润率情况。AWS诞生初期，就是作为一个基础计算服务的外包供应商，包括计算资源和数据存储等。可以判断，该业务大部分收入和利润仍然来自这些业务。科技业人士克里·奎因（Corey Quinn）曾经在私营的Duckbill集团担任首席云经济学家，帮助客户公司降低他们在亚马逊云计算的开支。奎因预测，AWS一半以上的收入来自于EC2计算服务。这一服务相当于让企业用户在亚马逊数据中心租赁到了实体服务器虚拟的“一部分”。奎因表示，计算服务再加上“弹性块存储...阅读全文
且将元数据保存在kafka自己的服务器当中，大大提高了kafka的元数据管理的性能。KRaft运行模式的Kafka集群，不会将元数据存储在Apache ZooKeeper中。即部署新集群的时候，无需部署ZooKeeper集群，因为Kafka将元数据存储在Controller节点的KRaft Quorum中。KRaft可以带来很多好处，比如可以支持更多的分区，更快速的切换Controller，也可以避免Controller缓存的元数据和Zookeeper存储的数据不一致带来的一系列问题。在新的版本当中，控制器Controller节点我们可以自己进行指定,这样最大的好处就是我们可以自己选择一些配置比较好的机器成为Controller节点，而不像在之前的版本当中，我们无法指定哪台机器成为...阅读全文
，就因为dev团队正在推出的破烂玩应，他们大半夜的得被叫起来。这种思维方式基本上已经过时了，正是思维方式使得人们都觉得干运维这一行的都是深深厌恶自己，一根接一根不停抽烟。这是由于缺乏同理心而产生的避重就轻、刻薄的想法。如果凌晨两点出现内存不足的异常，要不要去警告那些没有远见或者能力的运维人员去解决这个问题呢？还是说我们应该警告那些对系统相当熟悉的开发者呢？后一种做法似乎是明显的，但是关键在于他们需要被授权获悉状况，调试后自动解决。 其实新运维模式本质上应该把运维看作是一个产品团队，其产品就是基础设施。就像开发者把 API 作为他们提供的服务，运维把 API 以工具、UI、自动化、基础设施即代码、可观察性和警戒的形式作为他们提供的基础设施。 @perterbourgon 关于这个话题，我有很多想...阅读全文
馈项目，这将是项目最好的贡献来源。有些贡献者甚至将是加入项目团队的绝佳候选人。开发采用者和扩展者的生态系统是延长项目使用寿命的好方法。 10、与开发社区联系 开发社区由项目团队成员和贡献者组成。为社区内的沟通提供众所周知的渠道。明确的沟通渠道将有助于开发人员的合作。 11、有计划 很容易就会陷入只专注软件开发的模式，但和任何进程(特别是软件开发过程)一样，有些极致的方法至关重要。确保你的项目采用开发方法，并且有人拥有该流程(例如项目负责人)。制定计划可以帮助开发人员知道他们在哪里可以贡献最大的价值，并使采纳者和扩展者更容易实现他们自己的计划(从而取得成功)。像对待任何其他软件开发项目一样地对待你的开源项目。 12、管理品牌 你的项目将有一个品牌。项目的名称是其身份;项目logo以及任何产品的...阅读全文
。 Netpoll Netpoll 是字节跳动内部的 Golang 高性能、I/O 非阻塞的网络库，专注于 RPC 场景。 RPC 通常有较重的处理逻辑（业务逻辑、编解码），耗时长，不能像 Redis 一样采用串行处理（必须异步）。而 Go 的标准库 net 设计了 BIO(Blocking I/O) 模式的 API，为了保证异步处理，RPC 框架设计上需要为每个连接都分配一个 goroutine，这在空闲连接较多时，产生大量的空闲 goroutine，增加调度开销。此外，net.Conn 没有提供检查连接活性的 API，很难设计出高效的连接池，池中的失效连接无法及时清理，复用低效。开源社区目前缺少专注于 RPC 方案的 Go 网络库。类似的项目如：evio、gnet 等，均面向 Redis、Haproxy...阅读全文
务账户给应用，方便应用能够获取一定的权限 initContainers: #初始化镜像执行初始化操作 - name: peer-finder-plugin-install image: nacos/nacos-peer-finder-plugin:1.0 volumeMounts: - mountPath: "/home/nacos/plugins/peer-finder" name: plugindir affinity: #配置Pod反亲和性，放置Pod都起在同一节点上（如果都在一个节点，节点宕机将会使全部实例不可用） podAntiAffinity: # requiredDuringSchedulingIgnoredDuringExecution: #硬策略，pod一定不能启在同一个节...阅读全文
众所周知，在Java的知识体系中，并发编程是非常重要的一环，也是面试的必问题，一个好的Java程序员是必须对并发编程这块有所了解的。为了追求成为一个好的Java程序员，我决定从今天开始死磕Java的并发编程，尽量弥补自己在这方面的知识缺陷。 并发必须知道的概念 在深入学习并发编程之前，我们需要了解几个基本的概念。 同步和异步同步和异步用请求返回调用的方式来理解相对简单。 同步：可以理解为发出一个请求后，必须等待返回结果才能执行下面的操作。 异步：请求发出后，不需要等待返回结果，可以继续执行后续操作，异步请求更像是在另一个 “空间” 中处理请求的结果，这个过程不会影响请求方的其他操作。 举个生活中的例子，比如我们去实体店买衣服，挑选完款式后下单让售货员去仓库拿货，在售货员拿货的过程你需要在店...阅读全文
个基础架构提供者的格式。 但是没有两个服务是完全相同的，服务有很多类型，有时候称其为服务模型。服务模型可能构成像Shakespeare服务的简单服务：有前端，负载均衡器以及数据库。服务模型仅需要知道运行哪个二进制文件，在多少集群里运行它，以及数据库schema。服务模型的逻辑随后扩展该服务的配置。比如，服务模型能够将集群列表转化为负载均衡器基础架构的配置。 实际上，服务模型可能就是简单的一段脚本，将一个配置文件扩展为基础架构所需要的东西；服务模型也可能是复杂的pipeline。 如果你在处理多个服务模型以及多个基础架构提供者，就不得不维护N个服务模型和M个基础架构提供者之间的集成。这样的集成包括为每个提供者生成特定的配置并且部署它们——这个程序对于不同的提供者可能大不相同。 我们称之为NM问...阅读全文
、API 应用相同的上下文中运行程序或脚本。可以上传并运行可执行文件，例如 cmd、bat、exe、psl 等等。WebJobs 提供 SDK 用于简化针对 Web 作业可以执行的常见任务，例如图像处理、队列处理、RSS 聚合、文件维护，以及发送电子邮件等等。 Serverless 架构原则 按需使用计算服务执行代码 Serverless 架构是 SOA 概念的自然延伸。在 Serverless 架构中，所有自定义代码作为孤立的、独立的、细粒度的函数来编写和执行，这些函数在 AWS Lambda 之类的无状态计算服务中运行。开发人员可以编写函数，执行常见的任务。在比较复杂的情况下，开发人员可以构建更复杂的管道，编排多个函数调用。 编写单一用途的无状态函数单单负责处理某一项任务的函数很容易测试，并稳...阅读全文
了一个小时。但是我的水平有限，结果可想而知。我肯定也知道没过，然后我就请教面试官，需要提升的地方，学**哪方面的内容。 于是我去学习，一个月过去了。 第二次面试，也是阿里 B2B 的岗位，我不知道那个时候有没有招聘的公海，按照我的理解是没有的，然后我肯定不会有这么多次机会。这次的面试和上次很像，只不过内容换成了多线程并发相关的知识。我又不知道，面试官还是很容忍我，最后没通过，我同样为了需要什么提高。 于是我去学习，一个月又过去了。 第三次面试，是淘宝，应该是广告部门。这次面试，我觉得除了不知道的内容，其他的内容都还回答的蛮正确的。但是面试官，拿着面试题就和我聊了，然后讲到一个数据库方面的知识时（内连接，外连接），我说不知道。面试官说：这么基础的问题你都不会，这是不能容忍的，其实当时很伤心。有...阅读全文
太大也会造成与传统日志传输协议的不兼容(太长的日志无法封装在单个 AF_UNIX 或 AF_INET 报文内)。 此选项的值以字节为单位，同时也可以在数字的末尾加上 K, M, G, T 后缀(以1024为基准)。 默认值 48K 是一个足够大并且也能保持与传统日志传输协议兼容的值。 注意，不能设为小于 79 的值(将被自动提升到79)。 日志转发 有两种不同的日志转发方法： (1)通过套接字文件(/run/systemd/journal/syslog) 可以将收集到的日志消息 立即转发给套接字的监听进程(传统的 syslog 守护进程)。 此方法受 ForwardToSyslog= 指令的控制。 (2)日志接收进程作为客户端运行，就像 journalctl(1) 一样读取日志文件。 因此...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
选择执行哪个取消选项。考虑下面这种情况：假如主协程中有多个任务1, 2, …m，主协程对这些任务有超时控制；而其中任务1又有多个子任务1, 2, …n，任务1对这些子任务也有自己的超时控制，那么这些子任务既要感知主协程的取消信号，也需要感知任务1的取消信号。如果还是使用done channel的用法，我们需要定义两个done channel，子任务们需要同时监听这两个done channel。嗯，这样其实好像也还行哈。但是如果层级更深，如果这些子任务还有子任务，那么使用done channel的方式将会变得非常繁琐且混乱。我们需要一种优雅的方案来实现这样一种机制：上层任务取消后，所有的下层任务都会被取消；中间某一层的任务取消后，只会将当前任务的下层任务取消，而不会影响上层的任务以及同级任务...阅读全文
正确运行工作负载。 先决条件 本地Linux / macOS / BSD计算机上的SSH密钥对。 如果您之前没有使用过SSH密钥，可以按照如何在本地计算机上设置SSH密钥的说明来学习如何设置它们。运行Debian 9的三台服务器，每台至少有2GB RAM和2个vCPU。 您应该能够以SSH密钥对的root用户身份SSH到每个服务器。Ansible安装在您的本地计算机上。 有关安装说明，请按照Ansible官方安装文档进行操作 。熟悉Ansible Playbook。 有关查看，请查看配置管理101：编写Ansible Playbooks 。了解如何从Docker镜像启动容器。 如果需要复习，请参阅如何在Debian 9上安装和使用Docker的 “第5步 - 运行Docker容器”。 第1步...阅读全文
。  默认情况下，KPA 基于每个 pod 的平均传入请求数对模型进行扩展。KFServing 将默认的并发的目标数量设置为 1，这意味着如果服务收到三个请求，KPA 将把它扩展到三个 pod 副本。你可以通过更改 **autoscaling.knative.dev/target** 注释来定制这个行为，就像上面的例子一样，你把它设置为 10。一旦启用此设置，只有当并发的请求数增加到 10 时，KPA 才会增加副本数。 通过 KFServing，你可以配置其他自动扩展目标。举例来说，你可以使用 **requests-per...阅读全文
？ Linux 系统当时的分割方式基本就是磁盘分割。所以如果你下载了所有的磁盘的话，某种意义上你也就下载了一套 Linux 系统。我们认为这个方法不够好，我们要用更适合分工开发的法子来。 我们决定 Debian 的系统开发由资源包来。也就是说，系统的每一个内容、每一个板块都会以资源包的形式存在，这些资源包能够自动整合成一个完整的系统。你下载了这个资源包的时候，它就知道如何移除自己或是升级自己。 分工也一样按照资源包来，哪个资源包出错了就能非常明确地知道是谁的责任。我们会在开发时设定标准和规定，保证任何来源的资源包都能在我们的系统上照常运行。所以你只要下载全资源包，你就有了一整个系统。这感觉就像手工布艺一样，把很多布片拼成一整个作品，只不过实际上原理要比这复杂不少。 当然 Debian 项目的资源包分割法...阅读全文
，客户端请求在转发至后端服务器之前将被深度分析，所有不与RFC格式兼容的请求都会被拒绝；此为默认模式； health：实例工作于health模式，其对入站请求仅响应“OK”信息并关闭连接，且不会记录任何日志信息；此模式将用于响应外部组件的健康状态检查请求；目前来讲，此模式已经废弃，因为tcp或http模式中的monitor关键字可完成类似功能； 3.4 hash-type hash-type
制将会正常工作。 ETag 和/或 Content-Location，假如同样的请求本应返回200响应。 Expires, Cache-Control，和/或Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。 假如本响应请求使用了强缓存验证，那么本次响应不应该包含其他实体头；否则（例如，某个带条件的 GET 请求使用了弱缓存验证），本次响应禁止包含其他实体头；这避免了缓存了的实体内容和更新了的实体头信息之间的不一致。 假如某个304响应指明了当前某个实体没有缓存，那么缓存系统必须忽视这个响应，并且重复发送不包含限制条件的请求。 假如接收到一个要求更新某个缓存条目的304响应，那么缓存系统必须更新整个条目以反映所有在响应中被更新的字段的值。 305 被请求的资源必须通过指定的代理...阅读全文
，基于RESTful API的工具。 不幸的是，这感觉就像试图将简单的方法调用变成一个数据驱动的RESTful界面。这满足了RESTful接口的verb，header，URL标识符，资源的URL和有效载荷的神奇组合，并做了一个清洁，简单，看起来几乎不可能实现的功能界面。RESTful有很多规则和解释，在大多数情况下会导致REST ish接口，这需要花费额外的时间和精力来保持其纯度。 最终，考虑到RESTAPI的复杂性，我们找到了替代方案。希望微服务尽可能相互隔离，减少交互和解耦服务。它可以让企业在很短的时间内创造出一个可行的服务，并防止跳过hoops。 评估REST的替代方案 不要轻易选择通信框架。大型组织（如Netflix）可以拥有超过500+个微服务的后端系统。迁移这些服务以取代不充分的服...阅读全文
