Insights这次在Paul Cormier的主题演讲里小小的露了一下脸，不过场下的很多场合都有不同红帽项目的负责人提及该项目。Insights可以视为一个基础设施监控平台，它自动采集并分析服务运行数据，以提供问题预测（而不仅仅是报警）的能力。由于该产品中使用了机器学习技术，因此也有人形容Insights是红帽的AI服务（虽然官方说明中并未提及）。 Red Hat Insights产品发布于2016年，目前已经与红帽Linux发行版RHEL、OpenStack发行版RDO、虚拟化产品RHEV、OpenShift、安全监控与打补丁产品Satellite、跨云管理平台CloudForms、以及上述自动化平台Ansible进行了集成。 就笔者看来，也许未来每个红帽产品都会被要求实现下述三个方面的集成： 可用容...阅读全文
测试已发布，并且与containerd集成的 Alpha版的现已可用，它支持基本的Pod生命周期和镜像管理。在该Kubernetes已发表的博客帖子中，可以了解到CRI的更多信息。 商业版的Google Cloud Platform（GCP）Container Engine（GKE）提供了最新的Kubernetes 1.7发布版，并已进一步提供了开源的Kubernetes发布版与Google各平台间的集成，包括：使用Google Cloud Load Balancing（GCLB）的HTTP重加密，使客户可以在从GCLB到他们的服务后端上使用HTTPS；解决了[对所有私有IP的GA支持]问题(https://cloud.google.com/container-engine/docs/ip...阅读全文
GlusterFS 与 Ceph 哪个更快已经进行了几项测试，但迄今为止没有确切的结论。GlusterFS 存储算法更快，并且由于 GlusterFS 以砖组织存储的方式实现了更多的分层，这在某些场景下（特别是使用非优化 Ceph 的话）可能导致更快的速度。另一方面，Ceph 提供了足够的定制功能来使其与 GlusterFS 一样快——结果是两者的性能都不够令人信服一个比另一个更强。 然而，现实表明，Ceph 访问存储的不同方法使其成为更流行的技术。事实证明，更多的公司正在考虑 Ceph 技术而不是GlusterFS，而且 GlusterFS 仍然与 Red Hat 密切相关。例如，SUSE 还没有 GlusterFS 的商业实现，而 Ceph 已经被开源社区广泛采用，市场上有各种不同的产品。可以说...阅读全文
ssh 命令之类的共享信息。 tmate 是怎么工作的？ 运行 tmate 时，会通过 libssh 在后台创建一个连接到 tmate.io （由 tmate 开发者维护的后台服务器）的 ssh 连接。 tmate.io 服务器的 ssh 密钥通过 DH 交换进行校验。 客户端通过本地 ssh 密钥进行认证。 连接创建后，本地 tmux 服务器会生成一个 150 位(不可猜测的随机字符)会话令牌。 队友能通过用户提供的 SSH 会话 ID 连接到 tmate.io。 使用 tmate 的必备条件 由于 tmate.io 服务器需要通过本地 ssh 密钥来认证客户机，因此其中一个必备条件就是生成 SSH 密钥 key。 记住，每个系统都要有自己的 SSH 密钥。 $ ssh-keygen -t...阅读全文
结果发布到IM中，比如 HipChat、JIRA 或者 Slack 等。 自动修复 - 识别和验证OpenStack计算节点上的硬件故障，正确排空实例并向管理员发送关于潜在停机时间的电子邮件，但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试，配置新的AWS群集，基于NewRelic的应用程序性能数据，打开负载均衡器的一些流量，以及前滚或回滚。 Stackstorm工作原理 主要组件角色： 传感器（Sensors） 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由传感器处理时，StackStorm触发器将发射到系统中。 触发器（Triggers）外部事件的StackStorm表示形式...阅读全文
计原理，Spring事务处理机制，SpringMVC，Spring源码分析Mybatis：Mybatis体系结构，Mybatis核心应用与配置，Mybatis关联查询，与Spring集成，Mybatis源码分析 2. 工程化工具 Maven项目工具：Maven命令使用，Maven的pom配置体系，插件机制及插件开发，Nexus使用，上传，配置Git分布式版本控制：Git安装和理解仓库，工作常用命令，分支和Tag管理，代码冲突解决方案，Github开源社区，Git企业应用，与IDE集成Sonar代码检测：Sonar环境搭建和使用，使用Sonar进行代码质量管理，与IDE集成使用Jenkins：搭建Jenkins自动化部署环境，集成git/maven/sonar工具，插件机制 3. 微服务架构...阅读全文
的数据并对其所含信息采取相应的操作。例如，您可以将 Harbor 配置为在成功推送镜像后向 Webhook 侦听器发送一个 POST 请求，从而触发 Kubernetes 应用程序的部署，以执行您的测试套件，或者仅仅更新您的 CMDB。 配额（Project Quotas） 配额有助于项目管理员对资源的使用加以控制。具体而言，您可以限制项目所含 tag 的数目，以及项目可占用的存储容量。您可以设置适用于所有项目的全局默认配额，也可以为个别项目设置配额以覆盖系统设置。镜像容量会根据其实际大小进行计算，并会在同时推送多个镜像时考虑所有相关镜像之间的层共享情况。配额可以与其他机制无缝协调工作，例如重新 tag、在线垃圾数据回收和保留策略，从而可始终合理管理各个工件，并且不会浪费空间。 Tag 保留...阅读全文
) right_metric其他常用的比较运算符：==、!=、>、<、>=、≤。 直方图分位数过去5分钟内，每个标签维度请求延迟的90%分位数： histogram_quantile(0.9, rate(my_request_durations_seconds_bucket[5m]))只针对 method 和 path 维度的90%分位数： histogram_quantile( 0.9, sum by(le, path, method) ( rate(my_request_durations_seconds_bucket[5m]) ) ) Gauges 的变化过去一小时内的绝对值变化： delta(my_gauge[1h])基于过去4小时的数据来预测1小时后的数据： predict_linear(my_gauge...阅读全文
，以及他们可以在哪些方面利用这些数据来获得优势。"开源和 OpenTelemetry 正在共同推动可观测性产业，但在最后，这一切都与开发者的体验有关。为开发者建立任何类型的工具的公司需要记住，开发者是需要关注的关键资产。你需要让他们成功，给他们一个愉快的体验并消除所有的摩擦。这样他们就可以快速行动，专注于他们需要的东西。" Betanews 作出结论称，开发者是开源社区不可或缺的一部分，且他们构建了公司所依赖的应用程序。公司必须记住：构建工具，使系统更有效、更快速、更容易使用，必须以开发人员为中心。“毕竟，他们是关键资产。”...阅读全文
的9.2%的被动股份。这一披露促使这家社交媒体巨头的首席执行官帕拉格-阿格拉瓦(Parag Agrawal)向马斯克提供了一个Twitter董事会席位。然而，马斯克拒绝成为Twitter董事会的一员，因为该提议有一个条件，即阻止特斯拉CEO将其在Twitter的股份增加到15%以上，可以预见的是，这引起了人们的猜测，即马斯克正在对整个公司发起恶意收购。 就在这些戏剧性事件发生几天后，马斯克正式公布了他以每股54.2美元的价格将Twitter私有化的提议，相当于超过430亿美元的价格。马斯克还写了一封致Twitter董事会的公开信，指出。 "我投资Twitter是因为我相信它有可能成为全球自由言论的平台，我相信言论自由是一个正常的民主社会所必需的。然而，自从投资以来，我现在意识到...阅读全文
稳定分支。 我们将讨论 NGINX 版本控制方案，回顾 NGINX 1.17 开发周期内进行的更新，并探索 NGINX 1.19 的特性。 NGINX 版本控制介绍 NGINX 在 NGINX Open Source 代码存储... 1 4 为 Linux 5.16 准备的新版 Zstd 已就绪，最高带来 35% 的性能提升 正如我们上周的报道（点击查看），Linux 内核即将用上最新的 Zstd 实现。如今时隔一周时间，为 Linux 5.16 内核所准备的新版 Zstd 已提交至 linux-next 的合并中，以便在接下来的几周内进行更广泛的测试，如无意外我们将在下个月的 Linux 5.16 合并窗口中看到 Zstd 的更新代码。 来自 Facebook 的 Zstd 维护者...阅读全文
系统的很大一部分现在已经有了这样的预期状态抽象层，而不再依赖工作流的状态——这是一个广泛影响业界的趋势。 — 1 — 术语 运行一个现代化的服务有很多必要部分。特别在谈论基础架构即服务时，有些术语很混乱。比如，谁是“用户”？人还是使用基础架构的服务？还是终端用户？或者别的什么？ 图1展示了本文所设计的各个参与方： 图1：围绕“服务”的术语 服务是某个团队想要运行的面向用户的系统，比如Gmail或者Map。服务由多个内部子服务组成——比如，Gmail服务的检测垃圾邮件的服务仅仅是组成Gmail的众多服务之一。 为了帮助解释本文的观点，我们会提到Shakespeare服务[1]的服务器部分，这是一个假象的服务，如图2所示。 图2：简单的Shakespeare服务，LB是“负载均衡器” 这个服务是...阅读全文
：现在科学界对AI的应用分为两种。一种是将AI工具直接用于科学目的，如AlphaFold（用于蛋白质结构预测），它们可以创造巨大价值，相信未来会出现无数这样的工具。 另一种是将AI工具用于提升科研工作效率，如帮科学家和工程师找到新研究方向、写代码等。Copilot编程工具就是一个例子。但AI工具的能力远不止于此。上述两种AI应用将会大大推动科技前进。 此外，目前科学界也在探索对AI的第三种应用方式——让AI成为可以“自我改进”的科学家。这件事情既有好处也有风险。 好的一面是，可以利用AI将人类的工作内容自动化，教会AI做任何人类可以做的事情：探索新科学、提出理论解释、验证、思考等，或许还可借此解决困扰人类已久的“AI对齐问题（Alignment Problem）”（即如何让AI系统的目标符合人...阅读全文
动安装升级的软件包，或者如果没有看到问题，只需借助apt-get dist-upgrade来升级。 1. apt-listbugs 通常，通过看看某软件包在Debian的“稳定”代码库、“测试”代码库还是在“不稳定”代码库，就可以判断其可靠性。然而，Debian衍生版常常缺少这种指引，拥有最新的信息始终是明智的。 apt-listbugs从Debian缺陷跟踪系统显示了软件包的最新信息。结果可按优先级来过滤，让你可以选择风险级别。用apt-get安装前先运行它，对于尽量减少系统上的问题大有帮助，如果你深入“不稳定”或“试验型”软件包代码库，更是如此。 选择工具 上述工具没有一款对Debian软件包管理来说是绝对必不可少的。许多用户只需用apt-get就能轻松搞定，偶尔使用dpkg清除系统上的...阅读全文
新的技术，特别是在网络和云计算领域。在网络方面，与中国三大运营商，包括中国移动、中国电信、中国联通，还有中兴、华为等开展合作。在云计算方面，Linux 有云原生的一些项目，主要是和 BAT三家大的公司来开展合作。 在Jim 看来，新的企业和机构加入到 Linux 的活动当中，会给 Linux 带来更多的价值。 上周日本丰田宣布在销售最好的产品凯美瑞中使用 Linux 系统。汽车行业的加入，意味着将会对 Linux 内核提出新的要求，这对于为嵌入式系统开发解决方案的厂商来说也是很好的消息。加入 Linux 意味着他们的测试覆盖范围更大了，有更多的人对这个代码进行审议。 “总的来说，我们觉得越多的企业和组织架构加入到 Linux 的阵营，实际上对Linux 的发展是越好的。” （二）谈...阅读全文
-interactive" 在重新加载 SSH 服务器之前，最好检查一下在配置中没有出现任何错误，执行以下命令测试： sshd -t 如果没有标识出任何错误，用新的配置重载 SSH： systemctl reload sshd.service 现在一切都应该开始工作了。现在，当你登录到你的服务器时，你将需要使用 SSH 密钥，并且当你被提示输入： Verification code: 打开 Authenticator APP 并输入为您的服务器显示的 6 位代码。...阅读全文
拍摄的截图（Justin Paine 在博客中展示了一些处理过的图片）。我们将根据相关法律法规采取适当行动，并将继续采取积极主动的安全措施，以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数： 2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1...阅读全文
据库等。 配置需要治理 权限控制，由于配置能改变程序的行为，不正确的配置甚至能引起灾难，所以对配置的修改必须有比较完善的权限控制，不同环境、集群配置管理，同一份程序在不同的环境（开发，测试，生产）、不同的集群（如不同的数据中心）经常需要有不同的配置，所以需要有完善的环境、集群配置管理。 Apollo 配置中心基本使用 Apollo 基础模型 用户在配置中心对配置进行修改并发布；配置中心通知 Apollo 客户端有配置更新；Apollo 客户端从配置中心拉取最新的配置、更新本地配置并通知到应用。 界面概览 上图是 Apollo 配置中心中一个项目的配置首页，在页面左上方的环境列表模块展示了所有的环境和集群，用户可以随时切换。页面中央展示了两个 namespace（application 和...阅读全文
/Program Files (x86)/Tencent/TIM/Bin/TIM.exe，同样右击选择wine打开即可。 题外话，2019年腾讯官方10月24日发布了Linux版QQ（含deb, rpm, pkg.tar.xz, sh版），而到2020年4月1日发布了新版。2020.4.1版修复了一些bug至少能够正常用了，能够输入文字、收发文件。因此wine安装QQ不太必要了，笔者也没有作过多测试研究。微信虽然有网页版，但很多人反映web微信登录不了，并且还没有Linux版微信发布，因此wine微信似乎有用些。...阅读全文
驱动程序可以获取 Pod 的 service account token。GracefulNodeShutdown 进入 Beta，Kubelet 将会检测 Node 的状态并在 Node 关闭前终止其上运行的 Pod（使用前需要配置 ShutdownGracePeriod 和 ShutdownGracePeriodCriticalPods）。Network Policy 支持设置端口范围（port 和 endPort），大量端口时不再需要每个端口单独列出。参考资料[1]在 v1.21 正式弃用: https://github.com/kubernetes/kubernetes/pull/97171[2]Gatekeeper: https://github.com/open-policy...阅读全文
statefulset.apps/apisix-etcd 2/3 57m NAME COMPLETIONS DURATION AGE job.batch/cert-manager-startupapicheck 1/1 6m24s 45m Kubernetes Controller Manager 的机制决定了 Pod 名称会有所不同。 步骤四：申请证书并测试 首先我们需要配置证书颁发对象。 # issuer.yaml apiVersion: cert-manager.io/v1 kind: Issuer metadata: name: issuer namespace: ingress-apisix spec: selfSigned: {} 并创建自签名证书颁发者。 kubectl apply -f...阅读全文
状态。这一步遇到困难，可以参考这个 Youtube 视频。6 APP读取的时候会跳出检测，这时候不要动，等待读取完毕。同样需要一些耐心，多试试，不难。7 给身份证拍个照。点击【下一个】开始给身份证正面拍照。点击【下一个】开始人脸识别，这一步开始人脸验证。注意，不要裸露上身。8 这些信息填完之后，点击【提供我的详细信息】，开始填写自身国家、职业、公司等详细信息。在这之前，首先是检查你之前填写的姓名和邮箱等信息。9 选择工作类型，选择【受雇】或者【自雇】。填写税务信息。纳税人识别号为自己身份证号。10 这里选择 【不，我未曾/没有担任重要的公职,也不是一名已/被委托担任公共职务的公共职者 的家庭成员或关系亲近的人】然后，勾选电子邮件和短信，☑️ 勾选 【本人确认懂英文，并同意以英文形式...阅读全文
了。 事实上，iQUIC 当前的 ‘短报文头’ 被用于除了握手外的所有包，仅公开一个包编号、一个可选的连接标识符和一个状态字节，像加密密钥轮换计划和包字节（它最终也可能被加密）。 其它的所有东西都被加密 —— 包括 ACK，以提高 通讯分析 攻击的门槛。 然而，这意味着通过观察连接来被动估算 RTT 和包丢失率将不再变得可行；因为没有足够多的信息。在一些运营商中，由于缺乏可观测性，导致了大量的担忧，它们认为像这样的被动测量对于他们调试和了解它们的网络是至关重要的。 为满足这一需求，它们有一个提议是 ‘Spin Bit’ — 这是在报文头中的一个回程翻转的位，因此，可能通过观察它来估算 RTT。因为，它从应用程序的状态中解耦的，它的出现并不会泄露关于终端的任何信息，也无法实现对网络位置的粗略估...阅读全文
-through-cloudflare-gateway 经测试，Cloudflare Spectrum 也可以配置 IPv6 的源站地址，然后 ssh 连接是 IPv4，同样可以中转。 最后如图，点击 “Create” 保存。 图片下方的 +++ — 是网卡配置文件(/etc/network/interfaces)的 diff。 重启来使更改生效。 重启后，可以正常通过 IPv4 的地址来 ssh，不过 curl ip.sb 返回的是 IPv6 的地址。 硬盘在开始创建 VM 前，还需要配置一下存储。 服务器硬盘配置 SSD: /dev/sda 240G HDD: /dev/sdb 3T 默认安装出来是，VM 需要的系统镜像文件存放目录 /var/lib/vz 在 SSD 里面，这样有点浪费，因为镜像不是...阅读全文
不是与什么的AdminClient收益已经为最新的偏移，这是下一个记录的偏移，在主题/分区写入混淆。）这个扩展现有ListOffsets API允许用户探测生动活泼的通过询问哪个是最近写入的记录的偏移量以及它的时间戳是什么来分区。kafka ConnectKIP-745：连接 API 以重新启动连接器和任务在 Kafka Connect 中，连接器在运行时表示为一组Connector类实例和一个或多个Task类实例，并且通过 Connect REST API 可用的连接器上的大多数操作都可以应用于整个组。从一开始，一个值得注意的例外restart是Connector和Task实例的端点。要重新启动整个连接器，用户必须单独调用以重新启动连接器实例和任务实例。在 3.0 中，KIP-745使用户...阅读全文
/actors/
annotation。将保存着测试证书的 volume 注入到特定命名空间的所有 Pod 中。如果 Secret 中的密码小于 20 个字符，就组织其创建。 initializerConfiguration 资源对象允许你声明某些资源类型应该运行哪些Initializers。如果你想每创建一个 Pod 时就运行一个自定义Initializers，你可以这样做： apiVersion: admissionregistration.k8s.io/v1alpha1 kind: InitializerConfiguration metadata: name: custom-pod-initializer initializers: - name: podimage.example.com rules...阅读全文
目的自然选择，Debian、Ubuntu、Fedora 和 Linux 内核以及很多都是例子。 近年来，尽管我们已经看到了不再那么挑剔的一代开发者的出现，但是如果我说的过激一些，他们缺少对于自由的关注。对于他们来说开源软件是构建软件的务实、实用的一部分，而无关伦理。我想，这就是为什么我们发现 MIT 和 Apache 协议的流行的原因。 未来 ? 这对于 GPL 意味着什么？ 我的猜想是 GPL 依然将是一个主要选项，但是开发者将将之视为纯粹的自由软件协议。我想对于软件的纯粹性有高要求的项目会优先选择 GPL 协议。但是对于商业软件，为了保持我们之前讨论过的那种平衡，他们不会那么做。我猜测， MIT 以及 Apache 依然会继续流行下去。 不管怎样，好消息是开源/自由软件行业确实在增长。无...阅读全文
为一个1955年出生的老派人物，是如何与布林和佩奇两个70后走到一起的呢？其实从他在普林斯顿大学和加州大学伯克利分校完成学士到博士的学习后，曾经在贝尔实验室、Sun 等大型公司工作过，而他待过的小公司更是数不胜数，甚至在加入谷歌之前的一个季度，施密特掌管的 Novell 公司亏了足足1.42亿美元，似乎他不怎么像一位能让谷歌起飞的人。 但是在施密特从 Novell 公司离职之后，投资者依然向佩奇和布林推荐了他，并且在面试之后，两位创始人立马敲定了新任 CEO 的人选，并且这 CEO 一当就是十年。这背后的原因没人知道，但是据猜测，施密特多次成功和一次失败的经验打动了对方，而这些经验也确实成为了谷歌崛起的关键点。 在1983年加入 Sun 之后，施密特以一己之力将 Java 打造成了最普及的编...阅读全文
制将在编译期检测。func f1(out chan<- int) {} func f2(out chan<- int, in <-chan int){} 在调用f1或f2的时候，传入的chan类型参数会自动隐式转换为chan<- int 和<-chan int类型，这种转换只是单向的，没有单向channel类型转换为chan类型。因为关闭操作只用于断言不再向channel发送新的数据，所以只有在发送者所在的goroutine才会调用close函数，因此对一个只接收的channel调用close将是一个编译错误。带缓存的channel带缓存的Channel内部持有一个元素队列。队列的最大容量是在调用make函数创建channel时通过第二个参数指定的。通过内置函数cap() 可以获得...阅读全文
"} ) public class MyClass { } @Retention 你可以指定你自定义的注释在运行时可用，通过反射检测。要实现这样的效果，你需要用@Retention修饰你自定义的注释，如下： import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; @Retention(RetentionPolicy.RUNTIME) @interface MyAnnotation { String value() default ""; } 这里的@Retention(RetentionPolicy.RUNTIME)会告诉编译器和JVM当前这个注释是可以在运行时通过反射机制访问的...阅读全文
available (because the // surrounding function has not yet been extended to accept a Context // parameter). Background和TODO只是用于不同场景下： Background通常被用于主函数、初始化以及测试中，作为一个顶层的context，也就是说一般我们创建的context都是基于Background；而TODO是在不确定使用什么context的时候才会使用。下面将介绍两种不同功能的基础context类型：valueCtx和cancelCtx。valueCtxvalueCtx结构体type valueCtx struct { Context key, val interface...阅读全文
Ian Murdock 走了，但 Debian 常在。今天就从与 Ian Murdock 的访谈来回顾一下 Ian 的 Debian 往事。 Debian 社区前几日宣布，Debian 的著名创始者 Ian Murdock 已经去世，死因至今不明。到官方公布具体死因之前，恐怕我们多猜测也无益。今天，不如让我们一起来回顾一下 Murdock 对免费软件的发展做出的贡献。 1999 年 11 月，我曾有幸与 Murdock 有过一次访谈。我为写《Rebel Code：Linux and the Open Source Revolution》这本书共做过 50 多次访谈，这就是其中一回。虽说在书中我只引用了 Murdock 所说的寥寥几句，不过如今，借着这个时机，我想用 Murdock 自己的话...阅读全文
、稳定的PPA，将FeedReader安装到Ubuntu 16.04 LTS上。 17. Weather Indicator天气工具 关注天气状况是我们日常生活中的一个基本部分。如果你想更详细地知道天气在接下来几天会怎样，根本不能“看窗外”、猜测一通。这时候，像Weather Indicator这样的应用程序有了用武之地。不显眼、基于面板的小应用程序很可靠，会告知你当前的天气状况，只要点击一下，它就会显示详细信息。 18. Shutter屏幕截图和标注工具 想抓取桌面、应用程序或Web的屏幕截图，为它们添加文本、箭头和图标，你就应该使用Shutter。没有哪一个工具在功能特性和性能方面比得上它。Shutter的本领不仅仅在于抓取屏幕截图，还能将抓取的截图自动上传到远程Web服务，包括Imgur...阅读全文
、API 应用相同的上下文中运行程序或脚本。可以上传并运行可执行文件，例如 cmd、bat、exe、psl 等等。WebJobs 提供 SDK 用于简化针对 Web 作业可以执行的常见任务，例如图像处理、队列处理、RSS 聚合、文件维护，以及发送电子邮件等等。 Serverless 架构原则 按需使用计算服务执行代码 Serverless 架构是 SOA 概念的自然延伸。在 Serverless 架构中，所有自定义代码作为孤立的、独立的、细粒度的函数来编写和执行，这些函数在 AWS Lambda 之类的无状态计算服务中运行。开发人员可以编写函数，执行常见的任务。在比较复杂的情况下，开发人员可以构建更复杂的管道，编排多个函数调用。 编写单一用途的无状态函数单单负责处理某一项任务的函数很容易测试，并稳...阅读全文
Alpine 的镜像。它们的体积非常小，但代价是兼容性较差。Alpine 使用了略微不同的标准 C 库——muslc。你可能会时不时地遇到一些兼容性问题。 原始基础镜像非常适合用于测试和开发。它虽然体积很大，但提供了与 Ubuntu 工作站一样的体验。此外，你还可以访问操作系统的所有二进制文件。 最后，我们再回顾一下各个镜像调整后的大小： node:8 681MB node:8 使用多阶段构建为 678MB gcr.io/distroless/nodejs 76.7MB node:8-alpine 69.7MB 英文原文：https://itnext.io/3-simple-tricks-for-smaller-docker-images-f0d2bda17d1e...阅读全文
的job，则需要测试的提交应该在克隆的Git历史记录中存在。设置GIT_DEPTH太小的值可能会导致无法运行哪些旧的commits。在job日志中可以查看unresolved reference。你应该考虑设置GIT_DEPTH为一个更大的值。 当GIT_DEPTH只设置了部分存在的记录时，哪些依赖于git describe的jobs也许不能正确的工作。 只抓取或克隆最后的3次commits： variables: GIT_DEPTH: "3" Hidden keys GitLab 8.6 和 GitLab Runner v1.1.1引入。 Key 是以.开始的，GitLab CI 将不会处理它。你可以使用这个功能来忽略jobs，或者用Special YAML features 转换隐藏键为...阅读全文
磁盘文件，按场景4处理，如果拷贝过来的是B节点的磁盘文件，按场景3处理。最后将新的slave节点加入C即可重新恢复镜像队列。 场景6：A先停，B后停，且A和B均无法恢复，且无法得到A和B的磁盘文件 无解。 启动顺序中有一个30s 的概念，这个是 RMQ 的时间间隔，用于检测master、slave是否可用，因此30s 非常关键。 对于生产环境RMQ集群的重启操作，需要分析具体的操作顺序，不可无序的重启，会有可能带来无法弥补的伤害(数据丢失、节点无法启动)。 简单总结下：镜像队列是用于节点之间同步消息的机制，避免某个节点宕机而导致的服务不可用或消息丢失，且针对排他性队列设置是无效的。另外很重要的一点，镜像队列机制不是负载均衡。...阅读全文
索运行Nginx的端口。 Kubernetes将自动分配一个大于30000的随机端口，同时确保该端口尚未受到其他服务的约束。 要测试一切是否正常，请通过本地计算机上的浏览器访问http:// worker_1_ip : nginx_port或http://worker_2_ip : nginx_port 。 您将看到Nginx熟悉的欢迎页面。 如果要删除Nginx应用程序，请先从主节点删除nginx服务： kubectl delete service nginx 运行以下命令以确保已删除该服务： kubectl get services 您将看到以下输出： OutputNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes...阅读全文
由于人工智能 / 机器学习日益集成到应用和业务流程中，因此生产级机器学习模型需要更多可扩展的基础设施和计算能力，以用于训练和部署。 现代机器学习算法在大量数据上进行训练，并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈，包括可提供的 CPU、GPU 和存储的数量，而且对于这种类型的模型，已经证明效率并不高。更为高效的并行处理算法，例如异步训练和 allreduce 式训练，需要一个分布式集群系统，由不同的 worker （工作器）以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑，这将花费大量时间。由于更多用户访问模型的端点，为了有效地处理客户端请求，需要更多服务实例...阅读全文
施。 虽然拥有一个lint工具（能实现快速、本地/离线的反馈）非常好，但最好的情况还是完全不需要lint工具。实施变更（例如C++团队为所有包引入了一个新的强化标志）的团队应该能够让我明确看到他们的工作。 然而，实际情况却恰恰相反，目前所有的包都由于lint而变得不干净，所有的维护者都需要阅读新内容是什么、可能会造成怎样的破坏、是否有影响以及怎样的影响、手动运行一些测试、最后再决定是否采用。整个过程的工作量巨大，而且还需要手动执行机械的更改。 特别是，在Debian的变更模型中，所有更改的工作都会分派给包维护者。在工作中，我们发现相反的工作方式更好：即让负责变更的团队自行选择那些能影响更多用户的更改，这样可以显著地提高效率，从而降低总体的成本和时间。当然，有些例外情况（例如滥用语言功能的大型...阅读全文
对 Docker 的使用大部分都比较熟悉，但是说到 docker 的实现原理很多人还是一知半解。我把在团队内部做的一次 Docker 核心原理分享总结到文章里，以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从下面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用，我们都能用 dockerfile 和构建脚本方便的进行应用构建打包，代码库 + 构建 + registry 统一了 CI/CD 流程，也提升了效率。 环境一致 由于应用和依赖全部构建成镜像，做到了一次构建多次交付，无论是开发，测试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文
进的前道晶圆工艺节点往往是芯片最佳性能的象征，最先进的工艺节点往往引领芯片性能发展的潮流。但到了Chiplet时代，单个先进工艺节点的竞争力有可能被多芯片异构系统集成取代，异构集成能力逐渐成为评价一家芯片设计或制造公司的新标准。"刘宏钧补充到。"也正因如此，英特尔主导参与了UCIe标准的建立，以期构建一个围绕Chiplet技术的生态圈，对其IDM2.0战略升级而言至关重要。"值得一提的是，当先进制程对芯片性能提升的重要性程度被削弱时，对于在晶圆制造领域并不领先的中国大陆芯片产业的发展有利，尤其是中国大陆在先进封测领域位居世界前列，Chiplet时代有望占据一定优势。"相比先进制造，在先进封装上，中国与国际先进水平的差距并不大，Chiplet的出现对我国芯片产业的发展有利。"戴伟民说道。从成本...阅读全文
务器都是一个代理(Broker). 消费者可以订阅一个或多个话题，并从Broker拉数据，从而消费这些已发布的消息。 5.Partition(分区)：Topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset） Message：消息，是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息。 复制代码 1.1.5. 消息 消息由一个固定大小的报头和可变长度但不透明的字节阵列负载。报头包含格式版本和CRC32效验和以检测损坏或截断 1.1.6. 消息格式 1. 4 byte CRC32 of the message 2. 1 byte "magic...阅读全文
户设计 pipeline 的灵活度，但 graph 框架也同时带来下列缺点： 引入潜在内存安全风险 复杂的代码逻辑，需要大量的测试工作 初学者学习曲线陡峭 总体而言，与传统的 pipeline 模式相比，graph 框架也会出现 tradeoff。使用者需要考虑其业务逻辑的复杂程度，才能有计划地设计出可管理的 graph pipeline。graph 模型更适用于 pipeline 比较复杂的场景。有兴趣的读者可以持续关注后期即将发布的《DPDK Graph Pipeline 框架示例和性能分析》，以更好地理解 DPDK libgraph 的性能和实际用途。...阅读全文
，而且有一个新的资源已经依据请求的需要而建立，且其 URI 已经随Location 头信息返回。假如需要的资源无法及时建立的话，应当返回 ‘202 Accepted’。 202 服务器已接受请求，但尚未处理。正如它可能被拒绝一样，最终该请求可能会也可能不会被执行。在异步操作的场合下，没有比发送这个状态码更方便的做法了。 返回202状态码的响应的目的是允许服务器接受其他过程的请求（例如某个每天只执行一次的基于批处理的操作），而不必让客户端一直保持与服务器的连接直到批处理操作全部完成。在接受请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息，以及指向处理状态监视器或状态预测的指针，以便用户能够估计操作是否已经完成。 203 服务器已成功处理了请求，但返回的实体头部元信...阅读全文
skeleton.c的副本。 > cp skeleton.c ipc.c 我们测试IPC命名空间的方法，是通过在主机上创建一个消息队列，当我们在IPC namespace中产生一个新进程时确保我们不能看到它。让我们首先在当前的shell中创建一个消息队列，运行skeleton副本代码来查看队列。 > ipcmk -Q Message queue id: 65536 > gcc -o ipc ipc.c > ./ipc ipcs -q ------ Message Queues -------- key msqid owner perms used-bytes message 0xfe7f09d1 65536 root 644 0 0 不使用新的IPC namespace，你可以看到同样的消息队列被创建。现在让...阅读全文
，或者去遍历它的每一个上游生成对应的 Result Partition 信息。 目前通过引入 group 概念，假设已知上下游 2 个任务的连接方式是 all-to-all，那相当于把所有 Pipeline Region 信息或者 Result Partition 信息以 Group 的形式进行组合，这样只需知道下游对应的是上游的哪一个 group，就可以把一个 O (n^2) 的复杂度优化到了 O (n)。我们用 wordcount 任务做了一下测试，对比优化前后的性能： 从表格中可以看到构建速度具有大幅度提升，构建 Pipeline Region 的性能从秒级提升至毫秒级别。任务部署我们是从第一个任务开始部署到所有任务开始运行的状态，这边只统计了流，因为批需要上游结束后才能结束调度。从整体...阅读全文
、Thread Pool Size、Buffer Size、Request Timeout、Feature Switch、Server Urls等。配置伴随应用的整个生命周期 配置贯穿于应用的整个生命周期，应用在启动时通过读取配置来初始化，在运行时根据配置调整行为。配置可以有多种加载方式 配置也有很多种加载方式，常见的有程序内部hard code，配置文件，环境变量，启动参数，基于数据库等配置需要治理 权限控制 由于配置能改变程序的行为，不正确的配置甚至能引起灾难，所以对配置的修改必须有比较完善的权限控制不同环境、集群配置管理 同一份程序在不同的环境（开发，测试，生产）、不同的集群（如不同的数据中心）经常需要有不同的配置，所以需要有完善的环境、集群配置管理框架类组件配置管理 还有一类比较特殊的配置...阅读全文
且总是设法规避这些批评。但现在我开始尝试听取这些意见，我会先设想这些批评是正确的，然后在这个基础上调整我的计划。做决定的过程充满了艰辛和痛苦，但也只有经历了这个过程才能将自信和自欺欺人区分开来。 保持自信与自我认知之间的平衡可以让人免于傲气、避免与他人脱节。 3 学会独立思考 创业很难，因为培养原创性思维很难。这种思维在学校里面是学不到的，实际上学校培养的是一种相反的思维方式，所以只能靠我们自己来培养原创性思维。 我们可以从第一性原理（first principles）出发，从中想出新的点子，然后与人交流沟通，对这些想法进行改良，之后我们再用轻松快捷的方式进行实际测试。 对创业者来说，失败是家常便饭，但我们一定要抱有必胜的信念，要不断尝试、不断试错，只有这样才能得到幸运之神的眷顾。 在这个过...阅读全文
