有望提升40%以上。除了CPU性能，ARMv9还非常重视整体的性能提升，包括降低内存延迟（从150ns降至90ns）、频率提升（从2.6GHz到3.3GHz）内存带宽（从20GB/s到60GB/s）、缓存等。ARMv9这次与性能有关的一个重要升级是SVE2指令集，SVE最早是ARM与富士通合作的浮点性能扩展，日本最强也是TOP500最强超算富岳就使用了SVE指令集，现在推出的是第二代SVE浮点指令了。相比SVE的128位矢量，SVE2可以支持多倍128位运算，最多2048位，因此SVE2可以增强ML机器学习、DSP信号处理能力，提升了未来5G、虚拟现实、增强现实以及CPU本地运行ML的性能，同时ARM未来还会继续提升AI人工智能性能。除了CPU之外，这次还简单提到了未来的Mali GPU...阅读全文
) - [简单聊聊内存逃逸？](https://github.com/lifei6671/interview-go/blob/master/question/q019.md) - [字符串转成byte数组，会发生内存拷贝吗？](https://github.com/lifei6671/interview-go/blob/master/question/q020.md) - [http包的内存泄漏](https://github.com/lifei6671/interview-go/blob/master/question/q021.md) ## Golang 理论 - [Go语言的GPM调度器是什么？](https://github.com/lifei6671/interview-go...阅读全文
关。 18. 针对单点故障——实施冗余。 19. 为了容错性和持久性——实施数据复制。 20. 对于用户到用户的快速通信 — 使用 Websockets。 21. 分布式系统中的故障检测——实现心跳。 22. 数据完整性——使用校验和算法。 23. 高效的服务器扩展——一致性哈希。 24. 去中心化数据传输——考虑 Gossip 协议。 25. 基于位置的功能 — 使用四叉树、Geohash 等。 26. 避免特定的技术名称 — 使用通用术语。 27. 高可用性和一致性的权衡——最终一致性。 28. 对于IP解析和域名查询——DNS。 29. 处理网络请求中的大数据——实施分页。 30. 缓存删除策略 — 首选...阅读全文
在集群化环境里，日志采集是重要基础设施。本文结合最新的 1.0.9 版，对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail -F 命令，但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发，内存占用和性能都不能达到最优。 作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费 CPU 低对应用影响尽可能小，要能异步实时追踪...阅读全文
-cfb, aes-192-cfb, aes-256-cfb,**bf-cfb, camellia-128-cfb, camellia-192-cfb,**camellia-256-cfb, cast5-cfb, des-cfb timeout：连接超时时间，单位秒。要适中。 如果客户端有OpenWRT路由器等设备，推荐rc4-md5，性能更好；否则可以选用安全性更好的aes-256-cfb等，不过计算复杂度上升，会有性能的损失，不过对于PC机以及现在的只能手机来说没有任何问题。路由器性能较弱所以可以考虑rc4-md5 保存配置文件后，就重启 shadosocks-libev 服务 $ service shadowsocks-libev restart 然后就搭建完成了，查看shadowsocks...阅读全文
昨天刚给公司服务器装了LNMP服务器环境，在这里简单记录一下过程备忘。这里我在安装的时候是用的Dotdeb源，仅供参考。 1. 导入Dotdeb源，据说Dotdeb源里的软件版本比较新。 在向源中导入Dotdeb前，我们需要先获取GnuPG key并导入： wget http://www.dotdeb.org/dotdeb.gpg cat dotdeb.gpg | apt-key add - 提示OK，表明导入成功。然后我们开始导入Dotdeb 源，源列表的位置在“/etc/apt/sources.list”，我们通过vi工具或nano工具打开sources.list，添加如下两行： deb http://packages.dotdeb.org wheezy all deb-src...阅读全文
记Mock源码阅读与分析Thinking in Python我的代码进CPython标准库啦Python零碎小知识工作一年的总结Python和单元测试MongoDB 的一些坑...阅读全文
图片来自于 Youtube 关于近期关于放弃 Unity 的决定，Google+用户 Maartin Kozub 在文章中写道： 这个决定并不能简单的用惋惜和悲伤而形容，因为 Canonical 所从事开始的多个项目也宣告了死亡。 我认为当前最大的问题是大部分开源开发者无法深入理解，也不会进而欣赏面向对象的编程语言（C++）。他们依然还习惯使用 C 语言来编程一些丑陋的代码，也许有些时候利用个性化定制功能能够让 C 更加接近于 C++，但无疑会增加门槛和降低可读性。所以，为何不直接使用 C++？最典型的例子就是 Wayland。 在另一方面，Canonical 是目前极少数创建优秀和简洁开源 C++代码的公司/社区，就像 Mir 一样能够充分利用各种现代化 C++功能。 Mark...阅读全文
提供的所有算法实现都可以通过“高级” API 访问，无法使用 “低级 API” 访问它们。目前可用的一个标准 Providers 是 FIPS Providers。这使得 FIPS 验证的加密算法可用。FIPS Providers 默认处于禁用状态，需要在配置时使用enable-fips选项显式启用。如果启用，除了其他标准 Providers 之外，还会构建和安装 FIPS Providers，不需要单独的安装过程。低级别的 APIOpenSSL 历来提供两套用于调用加密算法的 API："高级" API（如 EVP API）和 "低级" API。高级别的 API 通常被设计成适用于所有算法类型。而 "低级" API 则是针对特定的算法实现的。长期以来，OpenSSL 开发团队一直不鼓励使用低...阅读全文
要在服务器上进行搭建，长期运行。综合考虑后采用 debian系统，稳定，快速。 开始安装 安装过程非常简单， 按照页面中的执行步骤，依次执行命令即可。 1. 安装配置依赖项 如想使用 Postfix 来收发邮件，在安装期间请选择'Internet Site'. 您也可以用 exim4 或者配置外部的SMTP服务，使用SMTP发送邮件。 上面的安装期间，我没有选择internet site 选择的是本地local sudo apt-get install curl openssh-server ca-certificates postfix 2. 添加GitLab仓库,并安装到服务器上 curl -sS https://packages.gitlab.com/install...阅读全文
用替换一幅图片的色码（color table）成自己选定的色码，我现在知道的唯一方法是编辑每个色码区块（table slot）， 但却无法从某绘图程序的颜色选择器取得十六进制的 RGB 值。问题解决后，加个简短的补充说明补充说明不必很长或是很深入。简单的一句 你好，原来是网线出了问题！谢谢大家。 比什么也不说要来的好。事实上，除非结论真的很有技术含量，一句话就够了：说明问题是怎样解决的，但大可不必将解决问题的过程复述一遍。对于有深度的问题，张贴调试记录的摘要是有帮助的。但请记住，先描述问题的最终状态，说明是什么解决了问题，在此之后才指明踩坑的地方。在即时聊天软件里问问题为了避免重复答疑，你应该在群里询问常见问题。由于部分聊天软件没有话题串的功能（或着实现很差），同时群里还可能有多个同时讨论的...阅读全文
。Ingress 作为 Kubernetes 的初代入口网关，资源模型过于简单，以致无法适应当今的可编程网络。Gateway API 作为 Kubernetes 入口网关的最新成果，它通过角色划分将关注点分离，并提供跨 namespace 支持使其更适应多云环境，已获得大多数 API 网关的支持；入口网关（南北向）与服务网格（东西向，集群内路由）存在部分功能重叠，Gateway API 为两者的融合提供了新的参考模型。三是 eBPF 开始兴起。越来越多的开源项目使用 eBPF 技术，比如 Cilium 将 eBPF 引入容器原生网络，Merbridge 使用 eBPF 加速 Istio 中的透明流量劫持，Pixie 使用 eBPF 来构建可观察性堆栈，SkyWalking 使用 eBPF 来诊断服务网格的...阅读全文
较于PHP、Python、Java来说，JavaScript是最有可能在物联网大行其道的解释性语言。 JavaScript在浏览器没有对手，nodejs在服务器端也在不停的攻城拔寨，积累了大量的资源，构建了一个完整的应用开发生态环境。 JavaScript语言本身特点适合互联网，事件驱动，异步使单线程处理网络事件得心应手。 JavaScript已经跨界到物联网，受到了行业巨头的关注，各种项目发展的如火如荼。 未来的物联网开发 如果JavaScript在物联网获得成功，那么物联网的开发将会发生巨大的变化。 底层驱动由C实现，应用开发者不需要关注硬件，大量的互联网、移动互联网应用开发者加入物联网开发。 传统的交叉编译、烧写、调试的开发方式使用范围将急剧缩小 所见即所得，上位机和下位机的架构由C...阅读全文
题。 Cgroup2：https://facebookmicrosites.github.io/cgroup2/ Cgroup2 是下一代 Linux 内核机制，用于分组和构造工作负载，以及控制分配给每个组的系统资源量。它具有内存、I/O、中央处理单元等控制器，它还允许隔离工作负载，并为每个工作负载确定资源分配的优先级和配置。 PSI：https://facebookmicrosites.github.io/psi/ PSI（Pressure Stall Information，压力失速信息）首次提供了一种规范，通过内存、CPU 和 I/O 这三种主要资源的新压力指标来量化资源短缺。这些压力指标与此次开源的其它内核和用户空间工具相结合，可以在智能开发和响应时检测资源短缺。PSI 统计数据为即...阅读全文
在Linux的内存分配机制中，优先使用物理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。 一. 内存使用说明 Free 命令相对于top 提供了更简洁的查看系统内存使用情况： [root@debian ~]$ free total used free shared buffers cached Mem: 1035108 1008984 26124 0 124212 413000 -/+ buffers/cache: 471772 563336 Swap: 2096472 842320 1254152 这里显示的单位是KB。 在Linux的内存分配机制中，优先使用物...阅读全文
这一年来有关国内公司进军内存产业的消息甚嚣尘上，紫光公司凭借原有的英飞凌、奇梦达基础在DDR3内存上已经作出了突破，小批量生产了DDR3内存，下半年还会推出更主流的DDR4内存芯片，正在努力追赶国际主流水平。但是放眼整个内存市场，DDR5内存很快就要来了，更可怕的是未来即便是DDR5内存也很可能被更新的技术淘汰。 业界已经有人提出了DDR内存将死的看法，未来需要高带宽的产品将转向HBM内存，2020年会有HBM 3内存，2024年则会有HBM 4内存，届时带宽可达8TB/s，单插槽容量可达512GB。 对于HBM内存，DIY玩家可以说也是相当熟悉了，AMD在2015年的Fury系列显卡上首次商用第一代HBM技术，超高的带宽、超低的面积占用彻底改变了当时的显卡设计，随后NVIDIA在...阅读全文
； 修复通知功能设置无效的问题； 修复不同平台收藏歌单显示不一致的问题； 修复无法自动切换下一首歌的问题； 修复自动播放选项无效的问题； 修复打开默认窗口大小很大的问题； 修复喜欢按钮无法使用的问题； 修复退出时无法及时保存配置的问题； 修复无法修改头像的问题； 修复了社区用户反馈的其他问题 Debian 操作系统用户可前往网易云音乐官网下载最新 Linux 客户端安装体验。...阅读全文
：这款软件支持笔记记录。同 Notion 一样，页面属性也支持文字框、数字、电话号码、超链接、单选、多选、时间等属性类型。具体文本编辑的话，与Notion有所不同。Notion 是可见即可得的富文本，Focalboard 则区分编辑模式和预览模式。此外，Notion 的每一个段落均是一个 Block，而 Focalboard 的每个编辑区域算一个 Block，允许用户自由拖拽。预览模式编辑模式平台：这款软件支持 Mac 、Linux、Windows 三个平台。软件版本：这款软件包括两个版本：一个是个人桌面版本(Focalboard Personal Desktop)，一个是个人服务器版本(Focalboard Personal Server)。前者是用于待办事项和个人项目的桌面应用程序，后者则...阅读全文
{namespace} 这个方法简单粗暴有效。因为 Kubernetes 是声明式 API，所以删掉了之后，Pod API 对象就与预期的不一致了，便会自动重新创建 Pod 保持与预期一致。但是如果ReplicaSet 管理的 Pod 对象很多的话，那么要一个个手动删除，会很麻烦，所以可以使用命令来删除 ReplicaSet， kubectl delete replicaset {rs_name} -n {namespace} 由于 Deployment 对象并不是直接操控的 Pod 对象，而是操控的 ReplicaSet 对象，而 ReplicaSet 对象就是由副本数目的定义和Pod 模板组成，所以我们也可以通过调整 ReplicaSet 的数量来实现重启，比如先 scale 到 0，然后再 scale...阅读全文
获取数据时的延迟。此功能在大规模的应用程序上十分重要，因为数据离应用程序越近，程序就能更快获取到数据。 antirez 受 Ben Malec 演讲的启发，他想到可以将大部分需要频繁存和取的数据直接放在服务器的内存中，以便让 Redis 为客户端完成部分工作，并使客户端缓存更简单、更有效。这个就是 Client side caching（客户端缓存）的概念。 不过这个思路有一个需要解决的问题是，如何控制数据的有效时间？在程序允许的情况下，虽然可以直接设置数据的有效时间，让数据在一段时间后失效。但 antirez 表示，大多数的应用程序无法接受提供过时的数据的风险，因此必须找到更理想的方案来控制数据的失效时间。 所以 antirez 决定开发新的协议 RESP3，在协议中加入新特性来支持客户端...阅读全文
喜欢折腾的同学，会豪气如何升级 Debian Stretch 的内核到新版。遗憾的是现在能搜到的升级 Debian Linux 内核的文章多数是使用Ubuntu的deb安装包，其实这样装上去是有问题，常见的问题是，总会提示需要 apt --fix-broken install 。 这里简单记录一下，如何使用Debian官方源更新到最新的内核；以及如何是用 Kernel.org 的deb源，更新内核到最新的 5.x 版本。 修改更新源 name@debian.cn:~$ echo -e "deb http://http.debian.net/debian stretch-backports main\ndeb-src http://http.debian.net/debian stretch...阅读全文
（USB-C、3A）、GPIO 接头支持 5V DC @ 3A、或以太网供电（需单独的 PoE HAT）。工作温度：0 - 50 ℃摄氏度。 据悉，树莓派 4 主板及桌面套件已于今日开售，感兴趣的朋友可访问与之合作的 element14、OKdo 等授权零售商，或前往英国剑桥 Grand Arcade 购物中心的实体店。 1GB 版本的售价为 35 美元 / 33 英镑，2GB 版本为 45 美元 / 43 英镑，4GB 版本为 55 美元 / 53 英镑 —— 约合 288 / 376 / 464 RMB 。...阅读全文
近日全球著名开源社区 Apache 基金会，宣布“百度开源的 ECharts 项目全票通过进入 Apache 孵化器”。这是百度第一个进入国际顶级开源社区的项目，也标志着百度开源正式进入开源发展的快车道。 ECharts 成为 Apache 孵化器项目之前，已经是国内可视化生态领域的领军者，近年内连续被开源中国评选为“年度最受欢迎的中国开源软件”，并广泛被各行业企业以及事业单位、科研院所应用。涉及行业包含金融、教育、医疗、物流、气候监测等众多领域，其中甚至包括阿里巴巴、腾讯、华为、联想、小米、国家电网、中国石化等。 ECharts 负责人祖明介绍到：“ ECharts 作为拥有丰富的可视化图表类型和深度交互能力的开源可视化库，配置便捷容易上手，同时上千的配置项和不同层面的扩展机制带来了灵活...阅读全文
个 SATA 就要迷糊了。其实上面的 SATA 更多是指插槽，而这里的 SATA 是指数据走的通道，目前的新设备普遍都是 SATA3 接口了，但是 SATA3 是向下兼容 SATA2 跟 SATA1 的（所以下文我们只讨论SATA3）。 PCI-E 跟 SATA3 简单说就是数据走的“路”。PCI-E 就像是特别宽大的路，数据可以走的特别快，而 SATA3 与之相比更像是一条崎岖的小路，数据走的特别慢。但是CPU内部就那么大一点，修不了特别多的大路，所以PCI-E通道也就仅有那么几条。 通常 SATA 的插槽只能走 SATA3 的通道。而 M.2 的插槽上文我们说了分为 Socket 2 跟 Socket 3。M.2（Socket 2）的固态可以走 SATA3 或者 PCI-E 3.0×2...阅读全文
(container_spec_cpu_quota{image!=""}/100000) by (pod_name, namespace)) 将上面两个公式的结果相除，就得到了容器的CPU使用率： sum(rate(container_cpu_usage_seconds_total{image!=""}[1m])) by (pod_name, namespace) / (sum(container_spec_cpu_quota{image!=""}/100000) by (pod_name, namespace)) * 100 Pod内存使用率计算 Pod 内存使用率的计算就简单多了，直接用内存实际使用量除以内存限制使用量即可： sum(container_memory_rss{image!=""}) by(pod_name...阅读全文
Elasticsearch 群集搜索 和以前一样，Elasticsearch 6.0 能够读取在 5.x 中创建的 Indices ，但不能读取在 2.x 中创建的 Indices 。不同的是，现在不必重新索引所有的旧 Indices ，你可以选择将其保留在 5.x 群集中，并使用跨群集搜索同时在 6.x 和 5.x 群集上进行搜索。 迁移助手 Kibana X-Pack 插件提供了一个简单的用户界面，可帮助重新索引旧 Indices ，以及将 Kibana、Security 和 Watcher 索引升级到 6.0 。 群集检查助手 在现有群集上运行一系列检查，以帮助在升级之前更正任何问题。 你还应该查阅弃用日志，以确保您没有使用 6.0 版中已删除的功能。 使用序列号更快地重启和还原 6.0 版本中最大的一个新特...阅读全文
混沌实验场景，以及方便地将已有的混沌实验场景复用到其他应用混沌实验中，大大降低了混沌实验的成本。目前混沌实验场景提供的功能有：编排串行混沌实验编排并行混沌实验支持状态检查步骤支持中途暂停混沌实验支持使用 YAML 文件定义和管理混沌实验场景支持通过 Web UI 定义和管理混沌实验场景具体的实验场景配置，参考具体创建 Chaos Mesh Workflow。可视化操作Chaos Mesh 为用户提供了单独的 Chaos Dashboard 组件，即可视化支持。Chaos Dashboard 极大地简化了混沌实验，用户可以直接通过可视化界面来管理和监控混沌实验，仅需点一点鼠标就能够定义混沌实验的范围、指定混沌注入的类型、定义调度规则，以及在界面上获取到混沌实验的结果等。安全保障Chaos...阅读全文
片的反应“令人愉快”，Norrod说。 这一代Naples仅面向单插槽以及双插槽市场。双插槽系统最多支持八个内存通道，适合数据库等对宽带有更高要求的内存应用程序。 Naples比同级别的英特尔芯片提供更多I/O和内存容量。这一特性将为机器学习带来方便，特别是在芯片与GPU等协处理器协同运行时。AMD希望将Zen芯片与即将推出的Vega GPU配对，打造专为机器学习而生的芯片组合。 芯片中连接两个插槽的高带宽架构独一无二，这使得它成为双插槽服务器的理想选择。 AMD已授权中国天津海光先进技术投资有限公司（简称THATIC)生产Zen芯片。 Naples芯片将同英特尔Skylake服务器芯片进行直接对决，目前谷歌云服务使用的便是Skylake。高性能应用是AMD的弱项，而英特尔一直在高性能计算领...阅读全文
JSON 的支持，添加了基于路径查询参数从 JSON 字段中抽取数据的 JSON_EXTRACT() 函数，以及用于将数据分别组合到 JSON 数组和对象中的 JSON_ARRAYAGG() 和 JSON_OBJECTAGG() 聚合函数。 9. 可靠性：InnoDB 现在支持表 DDL 的原子性，也就是 InnoDB 表上的 DDL 也可以实现事务完整性，要么失败回滚，要么成功提交，不至于出现 DDL 时部分成功的问题，此外还支持 crash-safe 特性，元数据存储在单个事务数据字典中。 10. 高可用性(High Availability)：InnoDB 集群为您的数据库提供集成的原生 HA 解决方案。 11. 安全性：对 OpenSSL 的改进、新的默认身份验证、SQL 角色、密码强度...阅读全文
方法论，就是关于人们认识世界、改造世界方法的经验性的理论，它是一种以解决问题为目标的体系或系统，通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、总结并最终提出较为一般性的原则。 这里汇总介绍几种方法论。 吉德林法则 美国通用汽车公司管理顾问查尔斯·吉德林提出：把难题清清楚楚地写出来，便已经解决了一半。只有先认清问题，才能很好地解决问题。这种观点在管理学上被称为吉德林法则。 墨菲定律（Murphy's Law） 主要内容有四个方面：一、任何事都没有表面看起来那么简单；二、所有的事都会比你预计的时间长；三、会出错的事总会出错；四、如果你担心某种情况发生，那么它就更有可能发生。 彼德原理 每个人在层级组织里都会得到晋升，直到不能胜任为止。换句话说，一个人...阅读全文
、Hyperloglogs等。 Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力，并且支持副本集和通过Redis Sentinel实现的高可用方案，同时还支持通过Redis Cluster实现的数据自动分片能力。 Redis的主要功能都基于单线程模型实现，也就是说Redis使用一个线程来服务所有的客户端请求，同时Redis采用了非阻塞式IO，并精细地优化各种命令的算法时间复杂度，这些信息意味着： Redis是线程安全的（因为只有一个线程），其所有操作都是原子的，不会因并发产生数据异常 Redis的速度非常快（因为使用非阻塞式IO，且大部分命令的算法时间复杂度都是O(1)) 使用高耗时的Redis命令是很危险的，会占用唯一的一个线程的大量处理时间，导致所有的请求都被拖慢。（例如时间复杂度为O(N)的...阅读全文
Debian 项目团队宣布其稳定发行版 Debian 10 （代号 "buster"）的第八次更新。本次更新主要是对安全问题进行了修正，同时也对一些严重的问题进行了调整。安全公告已经单独发布，并在可用的地方进行了参考。 需要注意的是，这个点发行版（point release）并不构成 Debian 10 的新版本，只是更新了其中的一些软件包。没有必要扔掉旧的 "buster "介质。安装后，可以使用最新的Debian镜像将软件包升级到当前版本。 那些经常从 security.debian.org 安装更新的人不会需要更新很多软件包，大多数这样的更新都包含在点发布中。新的安装镜像很快就会在常规位置提供。 将现有的安装升级到这个版本可以通过将软件包管理系统指向Debian的许多HTTP镜像之一...阅读全文
性： 服务发现： 支持 DNS 与 RPC 服务发现，也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。 服务健康监测： Nacos 提供对服务的实时的健康检查，阻止向不健康的主机或服务实例发送请求。 动态配置服务： Nacos 提供配置统一管理功能，能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。 动态 DNS 服务： Nacos 支持动态 DNS 服务权重路由，能够让我们很容易地实现中间层负载均衡、更灵活的路由策略、流量控制以及数据中心内网的简单 DNS 解析服务。 服务及其元数据管理： Nacos 支持从微服务平台建设的视角管理数据中心的所有服务及元数据，包括管理服务的描述、生命周期、服务的静...阅读全文
针对性地使用Btrfs的一些特性来提高我们手头工作的性能。我们比较关注在系统任务管理、快照之类的事情上。 Linux.com：我们都知道Facebook是Linux的重度用户。在Facebook庞大的基础设施里，哪些地方用到了Linux？ Chris Mason：简单地说，Facebook所有的基础设施都使用了Linux。围绕分布式操作系统我们利用了Btrfs的很多特性，比如分布式任务管理、利用快照功能快速更新以及哈希校验功能，等等。 我们在相当数量的机器上运行着Gluster——既支持XFS也支持Btrfs，我们的目标就是做好存储这件事。在Gluster上喜欢用Btrfs的其中一个原因是，数据循环冗余校验（cyclic redundancy checks）和元数据循环冗余校验使我们能够检测...阅读全文
，也可以在一台不同的远程计算机上工作。 Chrony 和 NTPD 精度对比测试 我们可以从 Chrony 的官方网站上可以看到与 NTPD 各维度详细对比： 从其测试结果上看似乎是各维度性能都可以吊打 NTPD。因此 Chrony 的整体评价还是比较高的。 Chrony 相较于 NTPD 服务的优势 更快的同步只需要数分钟而非数小时时间，从而最大程度的减少时间和频率误差，这对于并非全天运行的台式计算机或系统而言非常有用。能够更好的响应时间频率的快速变化，这对于具备不稳定时钟的虚拟机或导致时钟频率反复变化的节能技术而言非常有用。在初始同步后，它并不会停止时钟，以防对需要系统时间保持单调的程序造成影响。在应对临时非对称延迟时，（例如：大规模下载造成连接饱和时）提供了更好的稳定性。无需对服务器进行...阅读全文
都跟质量保证（QA）的未来走向相似。传统意义上的 QA 正从关注测试转向关注工具。工程师写代码、单元测试和集成测试。测试在 CI 上运行，代码通过 CD pipeline 和 canary 转出（rollout）来生产。QA 团队正在缩小，但是构建工具的团队正在增长——测试框架、CI 环境和 CD pipeline 。QA 能力现在已经嵌入发展团队中了。经由 Microsoft 和 Amazon 等公司普及的SDET 模式是这个方向的第一步。2014 年，Microsoft 转向了联合工程（Combined Engineering）模式，将 SDET 和 SDE（软件开发工程师）合并成一个角色，软件工程师，负责产品代码、测试代码和工具代码。 你们有没有注意到 QA 起的作用似乎在悄然消失？跟...阅读全文
HTTP 代理服务器使得部署新的压缩技术更困难；中间设备中的 TCP 优化使得部署对 TCP 的改进越来越困难。 最后，我们正处在一个越来越多地使用加密技术的互联网变化当中，首次激起这种改变的事件是，2015 年 Edward Snowden 的披露事件（LCTT 译注：指的是美国中情局雇员斯诺登的事件）。那是一个单独讨论的话题，但是与之相关的是，加密技术是最好的工具之一，我们必须确保协议能够进化。 让我们来看一下都发生了什么，接下来会出现什么，它对网络有哪些影响，和它对网络协议的设计有哪些影响。 HTTP/2 HTTP/2（基于 Google 的 SPDY） 是第一个重大变化 —— 它在 2015 年被标准化。它将多个请求复用到一个 TCP 连接上，从而避免了客户端排队请求，而不会互相阻塞。它现...阅读全文
服务。如果cortex有许多的查询，则可以扩展Querier或Query Frontend微服务。高可用性– Cortex可以在实例之间复制数据replicate data。这样可以防止数据丢失，并避免度量标准数据出现间断，即使发生机器故障and/orpod被驱逐。多租户–多个不受信任的parties可以共享同一群集。Cortex在从ingester到querying的整个生命周期中提供数据隔离。这对于为多个单元或应用程序存储数据的大型组织或运行SaaS服务的人员非常有用。长期存储– Cortex将数据分块存储并为其生成索引。可以将Cortex配置为将其存储在自托管或云提供商支持的数据库或对象存储中。Cortex的需求Prometheus高可用性和数据去重Prometheus默认情况下不具有...阅读全文
627891 > 627891.svg -d N 分析持续时间（以秒为单位）。如果未提供启动，恢复，停止或状态选项，则探查器将运行指定的时间段，然后自动停止。 -i N 设置分析间隔(以纳秒或者毫秒等作为单位),默认分析间隔为10ms。 -o 转储文件的格式。 等待15s，就会产生结果，生成 627891.svg 文件。vim 627891.svg 并删除第一行，然后下载到本地并使用浏览器打开。 结果如下图，此图俗称火焰图，主要看每个方法的横轴长度，占用横坐标越长的操作，其占用的 cpu 即最长，很直观的。 9.2 性能黑点分析 我们首先发现下图红框内的代码存在严重的性能问题。在append的过程中，获取线程 stack 的过程耗时比较大。从火焰图中分析，耗时占据了接近50%的是，一个logger操作...阅读全文
++ { messages <- i } time.Sleep(5 * time.Second) close(done) time.Sleep(1 * time.Second) fmt.Println("main process exit!") } 上述例子中定义了一个buffer为0的channel done, 子协程运行着定时任务。如果主协程需要在某个时刻发送消息通知子协程中断任务退出，那么就可以让子协程监听这个done channel，一旦主协程关闭done channel，那么子协程就可以推出了，这样就实现了主协程通知子协程的需求。这很好，但是这也是有限的。如果我们可以在简单的通知上附加传递额外的信息来控制取消：为什么取消，或者有一个它必须要完成的最终期限，更或者有多个取消选项，我们需要根据额外的信息来判断...阅读全文
，kubelet通过给容器打不同的label来识别之。CRI是一个统一的容器操作gRPC接口，kubelet对容器的操作，都要通过CRI请求来完成，而Docker，Rkt等容器项目则负责实现各自的CRI实现，Docker的实现即为dockershim，dockershim负责将收到的CRI请求提取出来，翻译成Docker API发给Docker Daemon。 relist通过CRI请求更新到Pod中Sandbox容器和非Sandbox容器最新状态，然后将状态信息写入kubelet的缓存podCache中，如果有容器状态发生变化，则通过pleg channel通知到syncLoop循环。对于单个pod，podCache分配了两个数组，分别用于保存Sandbox容器和非Sandbox容器的最新状态...阅读全文
始化容器不会被开始执行。因此，如果启动任务很长，则可以考虑将其分为多个步骤，每个步骤都由一个初始化容器处理，以便您知道哪些步骤失败。 如果任何初始化容器失败，则将重新启动整个Pod（除非您将restartPolicy设置为Never）。重新启动Pod意味着再次重新执行所有容器，包括任何初始化容器。因此，您可能需要确保启动逻辑允许多次执行而不会导致重复。例如，如果数据库迁移已经完成，则应仅忽略再次执行迁移命令。 初始化容器是延迟应用程序初始化直到一个或多个依赖项可用的很好的选择。例如，如果您的应用程序依赖于施加API请求速率限制的API，则您可能需要等待一段时间才能接收来自该API的响应。在应用程序容器中实现此逻辑可能很复杂；因为它需要与健康和就绪状态探测器结合使用。一种更简单的方法是创建一个...阅读全文
由于人工智能 / 机器学习日益集成到应用和业务流程中，因此生产级机器学习模型需要更多可扩展的基础设施和计算能力，以用于训练和部署。 现代机器学习算法在大量数据上进行训练，并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈，包括可提供的 CPU、GPU 和存储的数量，而且对于这种类型的模型，已经证明效率并不高。更为高效的并行处理算法，例如异步训练和 allreduce 式训练，需要一个分布式集群系统，由不同的 worker （工作器）以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑，这将花费大量时间。由于更多用户访问模型的端点，为了有效地处理客户端请求，需要更多服务实例...阅读全文
本文翻译自 Wasm Labs @ VMware OCTO 的 blog： WebAssembly: Docker without container。这是 Wasm Labs 在 2022 年 12 月 15 日在冬季 Docker Community All Hands 7 的关于 Docker+WebAssembly 的演讲的文字版。作者：Asen Alexandrov，Wasm Labs 工程师。文中的我们均指作者或 Wasm Labs。本篇文章将更具实践性，将以 PHP 为例带领大家实践 Docker + Wasm。上篇文章我们了解了服务端 Wasm 为什么有着重要的作用、什么是 WasmEdge 以及如何让解释型语言编写的程序在 Wasm 里运行，这篇文章，我们将通过动手示例了...阅读全文
1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
经过 2 年 1 个月零 9 天的开发，Debian 11.0 "bullseye" 正式发布了。该版本包括许多重大的变化，并将在未来 5 年内得到支持。Debian 11 支持的计算机架构包括：32 位 PC（i386）和 64 位 PC（amd64）64 位 ARM（arm64）ARM EABI（armel）ARMv7（EABI 硬浮点 ABI，armhf）MIPS（mipsel）64 位 MIPS（mips64el）PowerPC（ppc64el）IBM System z（s390x）这次发布中有什么新变化Debian 的这次发行再次带来了比上一版本 buster 更多的软件；本次发行包括 11294 个新软件包，软件包的总数达到了 59551 个。这个发行版的多数软件包得到了更新...阅读全文
在一个快速扫描的世界，现有的 IP 协议也是适用的。 在 2019 年 11 月的 IETF 会议上，华为发言人进行了回应： New IP 主张的是一种自上向下的整体架构，希望将应用程序紧密地耦合到网络上，这正是互联网设计的初衷。 IP 的改变与否不仅是顶层人员的事务，背后利益关系最受影响的，当属用户。在国外讨论区 Reddit 上，网友们也给出了各自的看法。 用户 Cookie_Dodger 认为，“数据就是数据，所有数据源都应该被平等对待，尽管网络中立性已死......普通人关心的是服务有多快、多实用、是否支付得起”。 关于“（华为提议重塑互联网可能影响）网络中立性”，Cookie_Dodger 补充称： 如果华为可以提供具有基本功能的 Internet 服务（包括 IE...阅读全文
在 direct 里面的目标都走上级. --intelligent=intelligent,blocked 和 direct 里面都没有的目标, 智能判断是否使用上级访问目标. 特点： 链式代理, 程序本身可以作为一级代理, 如果设置了上级代理那么可以作为二级代理, 乃至 N 级代理. 通讯加密, 如果程序不是一级代理, 而且上级代理也是本程序, 那么可以加密和上级代理之间的通讯, 采用底层 tls 高强度加密, 安全无特征. 智能 HTTP,SOCKS5 代理, 会自动判断访问的网站是否屏蔽, 如果被屏蔽那么就会使用上级代理 (前提是配置了上级代理) 访问网站; 如果访问的网站没有被屏蔽, 为了加速访问, 代理会直接访问网站, 不使用上级代理. 域名黑白名单，更加自由的控制网站的访问方式...阅读全文
单独存储，除了减轻配置中心与注册中心的工作压力之外，还为将来 更丰富的服务治理 打下基础。未来，Dubbo 会基于元数据中心提供服务测试、服务 Mock 以及服务 API 管理等特性。针对三个中心的分离，Dubbo 还会配套发布全新设计的 Dubbo Ops 控制台 。另外，2.7.x 会是 Dubbo 在 Apache 软件基金会 毕业的版本 ，安装包包名正式切换到了 org.apache.dubbo，为了保证向前的兼容性，我们还在这个版本中提供了 com.alibaba.dubbo 的兼容包。 Dubbo 2.7.0 具体更新内容 如下： （环境要求：需要 Java 8 及以上版本支持） 新增功能 服务治理规则增强。更丰富的服务治理规则，新增应用级别条件路由、Tag 路由等治理规则与注册...阅读全文
观点，推动全球或区域频率统一性。 5G创新，设备厂商更是千帆竞速，百舸争流，与更多垂直行业合作，5G测试、技术研发、参与国际5G标准组织的相关工作、与相关组织联合规划5G频谱等，不断实现全方位布局5G能力。 2018年将重点研发5G产品，据悉，工信部还将加强统筹协调，组织移动通信领域各单位技术与产业合作;补齐发展短板，加大对5G高频器械、仪表等投入力度，保证5G高频全面实现技术突破，加快国际合作。 三大场景网络需求 当前，中国5G试验正在进入第三阶段，韩国也将试商用5G，国际上纷纷开建5G试验网。 业界普遍认为, 5G将主要满足三大场景网络需求: eMBB, mMTC 和 URLLC。eMBB对应的是3D/超高清视频等大流量移动宽带业务;mMTC对应的是大规模物联网业务;URLLC对应的是如...阅读全文
