你可以通过 iftop、Nethogs 和 vnstat 这三个 Linux 网络命令，了解有关你网络连接的大量信息。iftop 通过进程号跟踪网络连接，Nethogs 可以快速显示哪个在占用你的带宽，而 vnstat 作为一个很好的轻量级守护进程运行，可以随时随地记录你的使用情况。 iftop iftop 监听你指定的网络接口，并以 top 的形式展示连接。 这是一个很好的小工具，用于快速识别占用、测量速度，并保持网络流量的总体运行。看到我们使用了多少带宽是非常令人惊讶的，特别是对于我们这些还记得使用电话线、调制解调器、让人尖叫的 Kbit 速度和真实的实时波特率的老年人来说。我们很久以前就放弃了波特率，转而使用比特率。波特率测量信号变化，有时与比特率相同，但大多数情况下不是。 如果你只...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
我们知道，传统的DDR DIMM内存是易失性的，也就是必须维持通电才能保持数据，一旦断电就都没了。 Intel创造了Optane傲腾持久内存，做到了非易失性，也兼容DDR DIMM，但仅用于数据中心，和普通用户无关。 现在，JEDEC固态技术标准协会发布了DDR4 NVDIMM-P非易失内存标准规范，序列编号JESD304-4.01，也可以在断电后不丢失数据，而且完全兼容DDR4内存标准。 根据规范，这种新内存兼容普通的DIMM内存标准、固件，可以最大程度减少对于现有设备、平台的更改，同时为新内存提供了低延迟接口，提高了易用性，未来也会兼容支持DDR5。 NVDIMM-P的新功能： － 持久性：操作系统能够低延迟、高带宽访问非易失内存。 － 虚拟化的内存：在DDR通道启用尽可能多的内存容量...阅读全文
。通过把来自不同列的数据关联起来，查询规划器（query planner）现在可以避免一些边缘情况，在那些边缘情况下，之前的Postgres版本会认为WHERE语句更强的选择性，并且会导致选择了错误计划从而拖慢执行时间。Postgres的这个改进在整个SQL世界中都是极具创新性的。 Postgres 10还对并行性进行了改进。开发者现在可以使用索引扫描（index scans）和仅索引扫描（index-only scans）、并行合并连接（merge joint）以及位图堆扫描。并行查询是通过不同的workers来实现的，因此在某些情况下，设置和分解的成本会超过并行化的好处。默认情况下，可以在大于8MB大小的表以及大于512KB的索引上启用并行表扫描（parallel table scan...阅读全文
增强和安全修复，主要针对的场景是数据中心大规模 Java 应用部署情况下，Java 应用稳定性、效率以及性能的优化与提高。从目前公开的功能和披露的规划上来看，Dragonwell 8 具有下述三大重要特性： JwarmUp JwarmUp 是为了解决双十一抢购场景下，阿里巴巴 Java 系统 warmup 的痛点。以普通的 Java 应用举例，JVM 需要经过解释执行 (interpreter) 找到热点，然后通过 JIT 编译器来加速热点方法的运行。对于高并发场景，应用启动之后会有很长时间处于寻找热点、编译热点的状态。这时，很多性能指标 (CPU 使用率、TPS 吞吐量、 RT 响应时间) 不是非常理想。换句话说，当 Java 应用启动并提供服务之后，在相当长的时间内处于 warmup 状...阅读全文
ip2region 是准确率 99.9% 的 IP 地址定位库，0.0x 毫秒级查询，提供了 Java、PHP、C、Python、Node.js、Golang、C#、Rust、Lua 的查询绑定和 Binary、B 树、内存三种查询算法，妈妈再也不同担心我的 IP 地址定位！ ip2region 1.9 更新如下： 数据升级至 2019/05/02 的版本，国外的数据增加了大量城市级别的数据，ip2region.db 增长到 7MB。开源了 ip2region.db 的生成程序，目前提供了 java 语言的实现，在${ip2region_root}/maker 目录下，便于对 ip2region 的研究或者更改自定义生成配置等，后期会提供 C 语言的实现。 下载地址： Gitee...阅读全文
本文将介绍如何远程升级 Debian 11 Bullseye 到最新的稳定版 Debian 12 Bookworm。本升级流程简单、快速，适用于绝大部分运行在 公有云 上的主机实例。 在升级之前，建议妥善备份重要的数据，InfraPub 有一个简单的备份策略，只需要一个文件列表 记录需要备份的文件及目录，即可实现快速备份， ``` ## cat /root/backup.list /var/lib/mysql /etc/mysql /var/www /etc/nginx ``` 随后使用一条命令即可备份: `tar czvf /tmp/backup.tgz --files-from /root/backup.list` 稳妥期间，备份时把数据库类的服务停一下...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
系统提供的socket缓冲区大小为8K，你可以将之设置为64K，尤其在传输实时视频时。 socket发送数据时候先把数据发送到socket缓冲区中，之后接受函数再从缓冲区中取数据，如果发送端特别快的时候，缓冲区很快就被填满（socket默认的是1024×8=8192字节），这时候我们应该根据情况设置缓冲区的大小，可以通过setsockopt函数实现 #include
Grafana 图表工具，做到了灵活的指标监控，融合基础框架，让业务方开箱即用…然而，我们说第二阶段是基于 OpenTracing 全链路采样监控，随着业务的高速发展，这套架构的不足点也逐渐显露出来。 3.3 架构特点 体验层面 指标：覆盖面广，维度细，能清晰地根据各模块各维度来统计分析，基本做到了监控灵活的图表配置需求。但不可否认它是一种时序聚合数据，无法细化为个体。假如在某个时间点发生过几次高耗时操作，当吞吐量达到一定时，平均耗时指标曲线仍然趋于平稳，没有明显的突出点，导致问题发现能力降低。 链路：1%的采样率使得业务服务基本不会因调用链发送量大而导致性能问题，但同时也往往无法从错误，高耗时的场景中找到正好采样的链路。期间，我们曾经考虑将头部采样策略改为尾部采样，但面临着非常高昂的 SDK 改造成本...阅读全文
10 月 31 日消息，Intel 宣布，已经为广泛部署傲腾数据中心用、非易失性内存条（Optane DC persistent memory）做好了准备。 目前，Beta 项目已经启动，参与的 OEM（原始设备制造商，如华为、联想等）和 CSP 伙伴（云服务伙伴，如谷歌、阿里巴巴、亚马逊、微软等）可以更早地向客户接入由傲腾非易失性内存条驱动的系统， 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术，和目前的傲腾 SSD 共享存储芯片，从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性， 单条最大 512GB，可配合 Xeon Scalable 处理器使用。 特别的，Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式，前者可理...阅读全文
在2018年的 Linux Plumber 大会上，eBPF成了亮点，有24个议题提到了 eBPF，可以预计eBPF会成为一大技术热点。 eBPF(Extended Berkeley Packet Filter) 的核心是驻留在 kernel 的高效虚拟机。最初的目的是高效网络过滤框架，前身是 BPF。 Linux kernel 3.18版本开始包含了eBPF，相对于 BPF 做了一些重要改进，首先是效率，这要归功于 JIB 编译 eBPF 代码；其次是应用范围，从网络报文扩展到一般事件处理；最后不再使用socket，使用map进行高效的数据存储。 根据以上的改进，内核开发人员在不到两年半的事件，做出了包括网络监控、限速和系统监控。目前eBPF可以分解为三个过程： 以字节码的形式创建...阅读全文
虽然GIMP 3.0的开发工作拖拖拉拉，但GIMP 2.10.x稳定系列继续迎来新的功能。今天新出炉GIMP 2.10.22支持基于AV1的AVIF图像格式的导入和导出。AVIF是一种非常有前途的图像格式，基于免版税的AV1技术，已经被Firefox和Google Chrome等网络浏览器支持，同时继续在其他照片/图像软件中得到采用。 相比较 WebP 和 JPEG 等格式，AVIF 的压缩能力明显更好。AVIF 支持全分辨率下的 10 位和 12 位色彩，以及高动态范围（HDR）。AV1 还使用了一种新的压缩技术：从色度到亮度。大多数图像格式将亮度与色相分开存储。AVIF 使用亮度通道来猜测颜色通道的样子，它们通常是相关的，所以AVIF可以提供更小的文件大小和更清晰的边缘。 不仅如此...阅读全文
/logicaldecoding.html ## 四:架构解析 PG的增量方案架构上分为两个大的部分 1 服务器端 在被订阅的服务器端,嵌入一个用于 decode 的插件--ali_decoding 该插件实现了流复制的自定义数据流格式,用户使用pg_create_logical_replication_slot函数创建 logical replication 时指定插件 ali_decoding 和逻辑 slot 名. 在客户端使用 START_REPLICATION 命令开启对应的流复制传输后,服务器端会有一个backend 进程加载该插件(ali_decoding)开始向用户传输增量数据. 2 客户端 START_REPLICATION 命令需要指定对应的逻辑 slot 名和位点. 所谓的位点是PG WAL日志的日志名和日志...阅读全文
库？服务需要支持多大的流量？ 这些都是很重要的问题，但服务是动态并且变化的：二进制版本不断更新，实例被添加和删除。架构也就需要随之演进：可能需要在某个特定的集群添加新的缓存，移除一些过时的日志等等。 在2014年，我们发现自己不能充分地适应服务的灵活性。对于绝大多数服务，我们使用人工编制的工作流来变更基础架构：推送x，然后y；手动执行不常见的变更。 但是团队通常需要管理数十个服务，每个服务都有很多job，数据库，配置以及自定义的管理流程。已有的解决方案因为如下两大原因无法扩展： 基础架构配置和API是异构的，并且很难连接在一起——比如，不同的服务使用不同的配置语言，抽象级别，存储和推送机制等等。因此，基础架构不一致，很难确定出通用的变更管理。生产变更管理的流程很脆弱，不理解变更之间的联系...阅读全文
服务。如果cortex有许多的查询，则可以扩展Querier或Query Frontend微服务。高可用性– Cortex可以在实例之间复制数据replicate data。这样可以防止数据丢失，并避免度量标准数据出现间断，即使发生机器故障and/orpod被驱逐。多租户–多个不受信任的parties可以共享同一群集。Cortex在从ingester到querying的整个生命周期中提供数据隔离。这对于为多个单元或应用程序存储数据的大型组织或运行SaaS服务的人员非常有用。长期存储– Cortex将数据分块存储并为其生成索引。可以将Cortex配置为将其存储在自托管或云提供商支持的数据库或对象存储中。Cortex的需求Prometheus高可用性和数据去重Prometheus默认情况下不具有...阅读全文
在这个互联网时代，游戏、电影、照片等数据越来越大，硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题，但是速度太慢，体验糟糕，并不是最优的个人存储解决方案。我们渴求大容量的SSD，不过超过TB大容量SSD动不动就几千元的售价，对于支付能力有限用户实际上没有意义。SSD的成本主要来源于闪存，在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存，解决容量与价格的矛盾，才能让SSD真正在大数据时代发挥应有作用。 这时，QLC 闪存就应运而生， 目前，东芝和西数先后宣布成功开发基于四比特单元3D NAND闪存芯片，即QLC闪存，这也意味着QLC SSD将要来临。那么，它与TLC闪存又有什么区别，能否取代TLC成为SSD主流闪存之选？ 先来了解一下什么是TLC...阅读全文
本周的 Intel 数据创新大会上，傲腾持久内存正式发布，采用 DDR4 接口和协议，既可以当纯粹的 DDR4 内存，又可以做存储型缓存盘。 Intel 借助 3D Xpoint 技术实现了 DRAM 和 NAND Flash 共享同一种存储芯片，即傲腾（Optane）。按照 Intel 公布的信息，傲腾内存条容量目前提供 128GB、256GB、512GB。 虽然 Intel 没有公布价格，但美国采购商已经偷跑， 其中 128GB 在 842~893 美元（约最低 5656 元），256GB 在 2668~2850 美元（约最低 1.79 万元），512GB 还不详（预计 6000~7000 美元）。 显然，比起同容量的 SSD 着实贵了不少，但比起企业级内存条（128GB 要 4500...阅读全文
channel通道golang的并发模型是序列通信处理CSP（communicating sequential process）——使用通信来共享内存 ，避免goroutine因竞争共享内存频繁加锁产生的性能问题。基本数据结构golang中提供了一个特殊的类型channel实现goroutine之间的通信。channel类似于队列，先进先出。channel数据结构源码在src/runtime/chan.go下。chan 使用 hchan 表示，它的传参与赋值始终都是指针形式，每个 hchan 对象代表着一个 chan。hchan 中包含一个缓冲区 buf，它表示已经发送但是还未被接收的数据缓存。buf 的大小由创建 chan 时的参数来决定。qcount 表示当前缓冲区中有效数据的总量...阅读全文
Web前端技术由html、css和javascript三大部分构成，是一个庞大而复杂的技术体系，其复杂程度不低于任何一门后端语言。而我们在学习它的时候往往是先从某一个点切入，然后不断地接触和学习新的知识点，因此对于初学者很难理清楚整个体系的脉络结构。本文将对Web前端知识体系进行简单的梳理，对应的每个知识点点到为止，不作详细介绍。目的是帮助大家审查自己的知识结构是否完善，如有遗漏或不正确的地方，希望共勉。 JAVASCRIPT 篇 0、基础语法 Javascript基础语法包括：变量定义、数据类型、循环、选择、内置对象等。 数据类型有string,number,boolean,null,undefined,object等。其中，string,number和boolean是基础类型,null...阅读全文
。系统LSI业务不仅制造领先的单个产品，而且是一个整体解决方案供应商，可以将各种逻辑技术合并到一个平台，以便向客户提供优化的解决方案。"在一个需要机器像人一样学习和思考的时代，扮演大脑、心脏、神经系统和眼睛角色的逻辑芯片的重要性正增长到前所未有的水平，"三星电子总裁兼系统LSI业务负责人Yong-In Park说。"三星将融合并结合其嵌入SoC、传感器、DDI和调制解调器等各种产品中的技术，以便作为整体解决方案供应商引领第四次工业革命。"第四次工业革命是System LSI技术日会议的一个关键主题。System LSI业务的逻辑芯片是超智能、超连接和超数据的重要物理基础，这些都是第四次工业革命的关键领域。三星电子的目标是将这些芯片的性能提高到能够像人一样完成人类任务的水平。考虑到这一愿景，系统...阅读全文
Label、Namespace 等概念非常适合用来构建上下文信息。3、繁多监测系统，造成监测界面不一致复杂系统带来的一个严重副作用就是监测系统繁多。数据链路不关联、不统一，监测界面体验不一致。很多运维同学或许大多都有过这样的体验：定位问题时浏览器打开几十个窗口，在 Grafana、控制台、日志等各种工具之间来回切换，不仅非常耗时巨大，且大脑能处理的信息有限，问题定位效率低下。如果有统一的可观测性界面，数据和信息得到有效地组织，减少注意力分散和页面切换，来提高问题定位效率，把宝贵时间投入到业务逻辑的构建上去。二、解决思路与技术方案为了解决上述问题，我们需要使用一种支持多语言，多通信协议的技术，并在产品层面尽可能覆盖软件栈端到端的可观测性需求，通过调研，我们提出一种立足于容器界面和底层操作系统，向上关联...阅读全文
以同时管理多个 Kubernetes 集群，更方便地管理多个集群。 丰富的权限管理 ：将资源抽象化为部门、项目级别，角色的权限可以更细化的控制，适用于多部门、多项目的统一集中管理。 多种登录模式 ：支持企业级 LDAP 登录、支持 OAuth2 登录，支持数据库登录多种模式。 完备的审计 ：所有操作都会有完整的审计功能，方便追踪操作历史。 开放平台 ：支持 APIKey 开放平台，用户可自主申请相关 APIKey 并管理自己的项目。 多层次监控 ：提供多级别的监控统计信息，实时关注集群的运行状态。 架构图 整体采用前后端分离的方案： 前端采用 Angular 框架进行数据交互和展示，使用 Ace 编辑器进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理，使用...阅读全文
在即将过去的一年中，DevOps经历了大规模容器化，许多公司投入了容器化的怀抱。这并不意味着DevOps相关工具已经成熟，但是这些工具为安全改进、容器化和工具集中化奠定了基础。以下是2017年DevOps的5大发展预测。 工具整合 根据Quali公司CTO Joan Wrabetz的说法，DevOps相关工具市场整合的时机已经成熟，这主要归功于消费者需求和公司数量的大规模增长。她提到：“为了简化流程，消费者只会选择其中的几个优秀软件，并且围绕着这些工具，将它们整合到自身的流程当中去。这将会导致越来越多的工具直接提供横跨整个持续交付周期端到端功能。” 另外，由于DevOps公司数量的增长，2017年将会迎来小公司的收购潮。“我们已经看见亚马逊对Chef进行了投资。另外，一些DepOps公司已...阅读全文
Debian 9（代号为 Stretch）当前为测试阶段，代码已进入开发的最后阶段并已冻结，预计 Stretch RC1 的发布时间为四月底，正式版大约在七月底左右发布。 目前作为个人用的VPS主机，可以开始尝鲜 Debian 9了。 当前 VPS 提供商还不提供 Debian 9 的镜像，如何直接从 Debian 8 升级到 Debian Stretch？ 接下来就一步一步为大家介绍 Debian 的垮镜像升级的一般步骤。操作前请务必妥善备份现有系统，做好异地备份或者离线备份。 升级前准备： 备份当前系统的数据 这类大操作都是有风险，所以我们先做好最坏的打算：如果系统升级后完全不可用，我们怎么办？ 创建备份，并且同步到异地。 一般的VPS环境，需要备份的文件有几大类，Web服务器配置文件...阅读全文
原因。 同样，Ubuntu 20.04 LTS 将支持 WireGuard。 2、支持 USB4 Linux 5.6 也将支持 USB4。 如果你不了解 USB 4.0 (USB4)，你可以阅读这份文档。根据文档，“USB4 将使 USB 的最大带宽增大一倍并支持多并发数据和显示协议multiple simultaneous data and display protocols。” 另外，虽然我们都知道 USB4 基于 Thunderbolt 接口协议，但它将向后兼容 USB 2.0、USB 3.0 以及 Thunderbolt 3，这将是一个好消息。 3、使用 LZO/LZ4 压缩 F2FS 数据 Linux 5.6 也将支持使用 LZO/LZ4 算法压缩 F2FS 数据。 换句话说，这只...阅读全文
，非常的耗时且影响集群的可用性。元数据更新网络开销大整个元数据的更新操作也是以全量推的方式进行，网络的开销也会非常大。强耦合违背软件设计原则Zookeeper对于运维来说，维护Zookeeper也需要一定的开销，并且kafka强耦合与zk也并不好，还得时刻担心zk的宕机问题，违背软件设计的高内聚，低耦合的原则。网络分区复杂度高Zookeeper本身并不能兼顾到broker与broker之间通信的状态，这就会导致网络分区的复杂度成几何倍数增长。zk本身不适合做消息队列zookeeper不适合做消息队列，因为zookeeper有1M的消息大小限制 zookeeper的children太多会极大的影响性能znode太大也会影响性能 znode太大会导致重启zkserver耗时10-15分钟...阅读全文
多线程处理开发过程中的并发请求。 之前不推荐使用的 flask.ext 已被完全删除。 在调试模式下访问 request.form 的缺失密钥时会显示更有用的错误提醒，以避免开发者混淆常见的错误来源。 app.logger 的行为已大大简化，更容易定制。 test_client 新增用于发布 JSON 数据的 json 参数，Response 对象新增 get_json 方法来在测试中将数据解码为 JSON 。 新增 test_cli_runner ，用于测试应用程序的 CLI 命令。 大量文档已被重写，更清晰明了。这是一项长期持续的工作。 教程和相应的示例已被重写。新的示例使用结构化布局并详细介绍每个方面，以帮助新用户更好地规避常见问题并适应 Flask 。 细节请查阅发行说明...阅读全文
通过先后收购HGST（日立）、SanDisk（闪迪），西部数据坐上了全球硬盘界的头把交椅。虽然西数和希捷一样看到了SSD的巨大势头，但出于各种因素，仍不敢贸然掉头。近日，西数在官方博客秀出了新一代的充氦硬盘的内部，高达8碟装。 早在2013年，HGST率先推出充氦技术的时候，当时设定的技术极值是7碟6TB，现在已经发展到8碟最高12TB，据说两年内还有14和16TB。 充氦的目的是减少碟片间距便于封装多碟，这一方式比提高单位面积的存储量在技术上要稍微容易点。 具体来说，充氦硬盘的外观看上去和普通机械硬盘一模一样，也是标准的3.5寸规格，内部机械结构也是相同的，仅仅是将内部填充的普通空气换成了氦气。 但就是这点变化，可以大大缩短碟片之间的距离，彼此靠得更近。在这项技术诞生前，硬盘最多只能塞进...阅读全文
今年3月初，USB-IF官方组织宣布了下一代 USB4 (注意不是USB 4.0)。现在，USB4标准规范正式公布了！USB绝对是科技史上应用范围最广的接口，而最新的USB4 又是这一接口历史上最大的变革。 USB4引入了Intel此前捐献给USB推广组织的Thunderbolt雷电协议规范，双链路运行(Two-lane)，传输带宽因此又翻了一番，达到40Gbps，也就是和雷电3完全相同。 当然，要获得这样的传输带宽，需要经过认证的全新数据线。 在引入新的底层协议的同时，USB4仍然保持了良好的兼容性，可向下兼容USB 3.2/3.1/3.0、雷电3，也就是现在的USB、雷电3设备和数据线，仍然可以在USB4接口上使用。 USB4将只有USB Type-C一种接口形态(雷电3走的也是它...阅读全文
head 信息对模型进行 数据库级别约束对于 runserver 兼容性的调整 ，以改进浏览大量文件进行更改时的性能 随着 Django 2.2 的发布，Django 2.1 已到达获得主流支持的终点 —— 今天发布了最后的小错误修复版本 2.1.8。Django 2.1 将在 2019 年 12 月之前收到安全问题和数据丢失的修复程序。因此鼓励所有用户在此之前升级以继续接收安全问题的修复程序。 有关受支持版本以及未来发布计划的安排表，请参阅 下载页面 。 Django roadmap 路线发布计划 Django 生命周期...阅读全文
，IPC(每时钟周期指令数)对比Zen2提升19％，而在特定企业级负载、云端负载、HPC高性能计算负载中，更是都可以带来最多大约2倍的性能提升。不过针对数据中心市场，Zen3架构还有一些特定的变化，比如说ISA指令集，就新增了多达7条。加速、加密、解密算法部分扩展了AVX2指令，可以支持到256位。...阅读全文
一个原因是 Kubernetes 可以在任何云端工作。大多数企业在现有的内部数据中心和公共云之间共享资产，对混合云技术的需求至关重要。 Kubernetes 可以部署在公司先前存在的数据中心内、任意一个公共云环境、甚至可以作为服务运行。由于 Kubernetes 抽象了底层基础架构层，开发人员可以专注于构建应用程序，然后将它们部署到任何这些环境中。这有助于加速公司的 Kubernetes 采用，因为它可以在内部运行 Kubernetes，同时继续构建云战略。 现实世界的案例 Kubernetes 继续增长的另一个原因是，大型公司正在利用这项技术来解决业界最大的挑战。Capital One、Pearson Education 和 Ancestry.com 只是少数几家公布了...阅读全文
于理论上的设计，也就是上面4个步骤的确定，一旦设计完成，实现部分就会非常简单。 使用动态规划求解问题，最重要的就是确定动态规划三要素： （1）问题的阶段 （2）每个阶段的状态 （3）从前一个阶段转化到后一个阶段之间的递推关系。 递推关系必须是从次小的问题开始到较大的问题之间的转化，从这个角度来说，动态规划往往可以用递归程序来实现，不过因为递推可以充分利用前面保存的子问题的解来减少重复计算，所以对于大规模问题来说，有递归不可比拟的优势，这也是动态规划算法的核心之处。 确定了动态规划的这三要素，整个求解过程就可以用一个最优决策表来描述，最优决策表是一个二维表，其中行表示决策的阶段，列表示问题状态，表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值（如最短路径，最长公共子序列，最大价值...阅读全文
如果你看过谍战片、动作片或犯罪电影，你就会在脑海中勾勒出黑客坐在电脑屏幕前的样子：一行行快速移动的代码，大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界地图，上面有一些发光点和一些快速更新的图表，也许还会有三维几何图形。如果可能的话，这一切还可以显示在多个显示器上面。 当然，我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器（或更多），但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管理项目和管理系统与股票交易不同。我们遇到的大多数情况都需要我们对试图解决的问题进行大量思考，与利益相关者进行良好的沟通，进行一些研究以及组织信息，然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时，我们只是想让自己看起来“有效率”。 旁...阅读全文
PromQL 是 Prometheus 提供的一个函数式的表达式语言，可以使用户实时地查找和聚合时间序列数据。表达式计算结果可以在图表中展示，也可以在 Prometheus表达式浏览器中以表格形式展示，或者作为数据源，以 HTTP API 的方式提供给外部系统使用。PromQL 虽然以 QL 结尾，但是它不是类似 SQL 的语言，因为在时间序列上执行计算类型时，SQL 语言相对缺乏表达能力。而 PromQL 语言表达能力非常丰富，可以使用标签进行任意聚合，还可以使用标签将不同的标签连接到一起进行算术运算操作。内置了时间和数学等很多函数可以使用 选择序列选择指定指标名称的序列最新样本： my_metric_name选择指定指标名称序列5分钟的样本范围： my_metric_name[5m]筛...阅读全文
服务监控系统 Prometheus 2.0 已发布，Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。 Prometheus 2.0 有一个简单而强大的运营模式。然而，基础设施领域也没有停滞不前，像 Kubernetes 和 Mesos 这样的项目正在迅速改变软件的部署和管理方式。受监控的环境变得越来越活跃。 存储 Prometheus 2.0 有性能显着提高，几乎在所有方面都有所改进。查询延迟更加一致，特别是在高系列流失的情况下，它的规模更大。在不同的现实世界生产情景下测量的资源消耗也显着下降： 与 Prometheus1.8 相比，CPU 使用率 降低了 20％ – 40％ 与普 Prometheus1.8 相比， 磁盘空间使用率 降低了 33...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
谷歌开始在其Chrome浏览器中实现对HTTP/3的支持，该公司在一篇博客中宣布。此次更新将带来一些额外的性能改进，主要得益于实现了QUIC作为传输协议。互联网工程任务组（或IETF）早在2015年就推出了HTTP/2，它带来的一大改进就是支持复用。 但是，它采用了TCP作为传输协议，以及TCP中的丢失恢复机制，所以丢失的数据包仍然会造成所有活动事务的延迟。通过采用QUIC，HTTP/3可以进一步改善传输过程，因为丢失的数据包只会影响到直接受其影响的事务。 谷歌是QUIC的最初开发者，但该协议在IETF手中已经有一段时间了，现在IETF版本的QUIC与谷歌内部的QUIC有很大不同。到目前为止，谷歌只支持自己的QUIC实现，而IETF则还在研究其版本，但现在这种情况正在改变。谷歌表示...阅读全文
Foundation）为例，它将Kubernetes和其他平台即服务（PaaS）云计划结合在一起。在过去的5年中，LFN项目大大加速了网络创新，使数据网络在未来数十年以前所未有的速度发展。” 在LNF下，每个项目都将继续按照现有的章程运作，保持技术的独立性，社区的亲和力，项目的发布路线图和以及网站的存在。 LFN 长远的目标是形成从网络协议栈到数据平面到控制平面，协调，自动化，端到端（end-to-end ）测试等的协作基础。LFN 有 83 个成员组织参与： 90%排名前10位的开源网络项目 超过60％由参与公司提供支持的全球移动用户 十大网络和企业供应商中的大多数 顶级系统集成商 顶级云提供商 换句话说，LFN有了业务和开发者社区的支持，它就要有所作为。希望 LFN 能带来更好的跨项目协同效应，更快的采用...阅读全文
计、开发自己的技术和产品。1.0版本：最终正式版，公开发布。 事实上，0.5版本发布之后，厂商们已经可以开始设计测试芯片，为后续工作提前做好准备。 尽管升级速度加快，但是每一代PCIe规范的变化都相当大，尤其是带宽每次都翻一番，并兼容所有前代规范。 PCIe 6.0也不例外，向下兼容PCIe 5.0/4.0/3.0/2.0/1.0的同时，数据率或者说I/O带宽会再次加倍来到64GT/s，PCIe 6.0 x1单向实际带宽8GB/s，PCIe 6.0 x16单向带宽128GB/s、双向带宽256GB/s。 PCIe 6.0将延续PCIe 3.0时代引入的128b/130b编码方式，但加入全新的脉冲幅度调制PAM4，取代PCIe 5.0 NRZ，可以在单个通道、同样时间内封包更多数据，以及低延迟...阅读全文
的数据并对其所含信息采取相应的操作。例如，您可以将 Harbor 配置为在成功推送镜像后向 Webhook 侦听器发送一个 POST 请求，从而触发 Kubernetes 应用程序的部署，以执行您的测试套件，或者仅仅更新您的 CMDB。 配额（Project Quotas） 配额有助于项目管理员对资源的使用加以控制。具体而言，您可以限制项目所含 tag 的数目，以及项目可占用的存储容量。您可以设置适用于所有项目的全局默认配额，也可以为个别项目设置配额以覆盖系统设置。镜像容量会根据其实际大小进行计算，并会在同时推送多个镜像时考虑所有相关镜像之间的层共享情况。配额可以与其他机制无缝协调工作，例如重新 tag、在线垃圾数据回收和保留策略，从而可始终合理管理各个工件，并且不会浪费空间。 Tag 保留...阅读全文
的定制能力。ECharts 底层依托了开源渲染引擎 ZRender ，支持 Canvas 和 SVG 等多种方式的渲染，支持 PC 、移动端、数据大屏、服务端渲染等多种设备场景。 目前，在 2018 年初发布的新版本 ECharts (4) 中，一些常用图表已支持最高达千万级的数据可视化，并且提供了小程序、无障碍访问等支持。基于 WebGL 的 ECharts-GL 能支持各种 3D 图表渲染、以及海量数据的渲染加速。目前，各种基于 ECharts 的扩展库，以及相关的可视化服务系统已经形成了丰富的产品体系和活跃的社区环境。ECharts 目前在 GitHub 上拥有 25k+ 的关注和 2k+ 的相关项目。大量的社区的反馈和贡献使 ECharts 不断地迭代进化。 业内人士认为，进入...阅读全文
HTTP header。HTTP header 各个 fields 使用 \r\n 分隔，然后跟 body 之间使用 \r\n\r\n 分隔。解析完 header 之后，我们才能从 header 里面的 content-length 拿到 body 的 size，从而读取 body。 这套流程其实并不高效，因为我们需要读取多次，才能将一个完整的 HTTP 请求给解析出来，虽然在代码实现上面，有很多优化方式，譬如： 一次将一大块数据读取到 buffer 里面避免多次 IO read 读取的时候直接匹配 \r\n 的方式流式解析 但上面的方式对于高性能服务来说，终归还是会有开销。其实最主要的问题在于，HTTP/1.x 的协议是 文本协议，是给人看的，对机器不友好，如果要对机器友好，二进制协议才是更好的...阅读全文
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的存储系统，在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前，让我们来讨论在云环境中对灵活存储的一些要求。 纵向扩展和横向扩展。在云环境中，必须可以很容易地向服务器添加更多存储空间以及扩展可用存储池。Ceph 和 GlusterFS 都可以通过轻松将新存储设备集成到现有存储产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的存储节点。这样做的结果是，访问时间增加，数据可用性也提高。在...阅读全文
中小型公司，尤其是互联网行业的创业公司，本身并没有太多的技术人员，如果设计系统时需要考虑诸多的技术问题，例如 Web 应用服务器如何配置、数据库如何配置、消息服务中间件如何搭建等等，那对于他们来说人员成本、系统成本会很高，Serverless 架构的出现，让这种情况可能可以大幅度改善。 初识 Serverless？ 在目前主流云计算 IaaS（Infrastructure-as-a-Service，基础设施即服务）和 PaaS（Platform-as-a-Service，平台即服务）中，开发人员进行业务开发时，仍然需要关心很多和服务器相关的服务端开发工作，比如缓存、消息服务、Web 应用服务器、数据库，以及对服务器进行性能优化，还需要考虑存储和计算资源，考虑负载均衡和横向扩展能力，考虑服务...阅读全文
Linux Kernel 5.10 LTS 的第八个维护版本更新于今天正式发布，本次更新最值得关注的改进就是终于解决了 5.10 Btrfs 性能倒退的问题。在去年圣诞节的时候，Linux 5.10 就被反馈 Btrfs 出现了明显的性能倒退问题。例如简单解压一个 Linux 内核源码.tar.zst 文件，可能需要花费数倍的时间。 虽然修复 Btrfs 性能倒退的补丁在去年年底就已经推出，但直到今天才整合到 mainline 上。而且，在即将到来的 Linux 5.11 上还将会对 Btrfs 进行大量的改进。 总体来说，Linux 5.10.8 的情况应该不错。Btrfs 开发者 Josef Bacik 在该页面上评论道：“5.10+patch比普通的5.9快了很多，因为我的系列补丁更...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
看着SSD气势汹汹，机械硬盘丝毫不敢懈怠，唯有不断推陈出新大容量产品，同时把容价比做到更低。据说淘宝上出现了一批全新/充新HGST 8T企业盘，由不景气的乐视云内部流出，居然只要千元出头。 就目前而言，西数、东芝均发布了14TB，前者使用SMR（叠瓦式磁记录），后者使用传统的PMR（垂直磁记录），9碟充氦。 而且，巨头均规划了16TB硬盘，预计明年推向市场。 近日，知名存储服务商Backblaze刊文报道，希捷CTO（首席技术官）Mark Re介绍称，HAMR（热辅助磁记录）存储技术硬盘已经越来越接近商用了。 今年10月的容量密度还是2Tbpsi（每平方英寸容量），Mark Re此次透露，目前已经达到5Tbpsi，是当下希捷最大的12TB硬盘（PMR）1.3Tbpsi的3.8倍，而HAMR...阅读全文
可以提供一个可选的整型参数，用于设置该channel的缓冲区大小。该值缺省为0，用来构建默认的“无缓冲channel”，也称为“同步channel”。 Channel作为goroutine间的一种通信机制，与操作系统的其它通信机制类似，一般有两个目的：同步，或者传递消息。 2. 同步 c := make(chan int) // Allocate a channel. // Start the sort in a goroutine; when it completes, signal on the channel. go func() { list.Sort() c <- 1 // Send a signal; value does not matter...阅读全文
