zookeeper仅使用内存作为存储，所以不能存储太多东西。并发访问zk问题多最好单线程操作zk客户端，不要并发，临界、竞态问题太多。基于以上各种问题，所以提出了脱离zk的方案，转向自助研发强一致性的元数据解决方案，也就是KIP-500。KIP-500议案提出了在Kafka中处理元数据的更好方法。基本思想是"Kafka on Kafka"，将Kafka的元数据存储在Kafka本身中，无需增加额外的外部存储比如ZooKeeper等。去zookeeper之后的kafka新的架构在KIP-500中，Kafka控制器会将其元数据存储在Kafka分区中，而不是存储在ZooKeeper中。但是，由于控制器依赖于该分区，因此分区本身不能依赖控制器来进行领导者选举之类的事情。而是，管理该分区的节点必须实现自我管理的Raft...阅读全文
近日Raspberry Pi（树莓派）基金会宣布发布树莓派3代A+版（Raspberry Pi 3 MODEL A+）。尺寸是标准的树莓派A+尺寸，继承了3代的双频2.4GHz和5GHz无线网络、蓝牙4.2/BLE，以及经过改进的散热管理。拥有64位四核1.4 GHz处理器，并且价格低至25美元。 就像2014年树莓派A+系列首次面世时那样，通过在B+型基础上减半内存、移除USBHUB和以太网卡来寻求更低的成本控制。树莓派3代A+参数如下： 1.4GHz 64位四核ARM Cortex-A53 CPU 512MB LPDDR2 SDRAM 双频802.11ac无线局域网和蓝牙4.2/BLE 改进的USB大容量存储启动 改善的散热管理 树莓派3代B+与A+版的对比： 树莓派3代A+与1代A...阅读全文
当然，无论西数还是希捷都在努力开发新的存储技术，目前出货的14TB和即将推出的16TB、18TB都是传统充氦垂直记录技术，接下来就要上新的HAMR热辅助磁记录技术，2030年前有望带来100TB的总容量。 希捷此前称会在2018年内出样HAMR硬盘，2019年量产，初期容量20TB，而最新说法让人更加振奋： 希捷表示，HAMR技术进展顺利，下一代大容量近线硬盘的单盘容量可达24TB，预计2019年批量上市。 当然，希捷还有多驱动技术(Multi-Actuator)，硬盘内存同时使用多个机械臂进行读写操作，大幅提升性能，读写速度可达480MB/s，基本逼近SATA SSD的水准。...阅读全文
Cockpit 195.2 发布了。Cockpit 是一个交互式服务器管理界面，它易于使用且很轻便，通过浏览器中的会话直接与操作系统进行交互。这意味着你可以通过鼠标，在Web界面上管理自己的服务器，比如启动容器，检查存储，配置网络或者查看日志等。 Cockpit 的 Web 同时也提供了一个内嵌的终端，可以直接操作服务器， 此版本更新内容： firewall：仅在添加自定义服务时重新加载防火墙 (rhbz#1725094)networking：清除主/从字段后激活连接 (rhbz#1729378)...阅读全文
有用； · 在线GC（垃圾回收）- 现在 Harbor 可以清理从后端存储中已删除的镜像且在执行GC操作之前不再要求中断 Harbor 的运行。这对那些在 CI 构建流水线中使用Harbor而导致大量镜像垃圾碎片的用户来说是个福音； · 支持定制 Logger -允许用户为在 job 服务中运行的任务定制不同的 logger，支持STDOUT / STDERR / FILE / DB多种类型； · 优化Helm Chart库 - 持续优化 Helm Chart 管理体验，同时也修复了多个相关缺陷，包括： 通用搜索结果中包含 Helm Chart 的相关结果；支持给 Helm Chart 打标签；删除指定的 Helm Chart （删除指定 Chart 下所有的版本）； 再次感谢广大用户长期以...阅读全文
种产品包括 Pi 1A 和 Pi 1B，因为 Pi 1A+ 和 B + 可以更好地取代它们。即使在 Raspberry Pi 4 B（2GB）的价格降至 35 美元之后，仍然会有客户以相同的价格购买 1GB 型号，因为某些客户可能仍希望将其作为即插即用的替代产品。 8.树莓派的价格 9 年未变最早的树莓派产品在 2012 年的价格为 35 美元，而如今的主力型号 Raspberry Pi 4 B（2GB）的价格仍然是 35 美元。考虑到通货膨胀，2012 年的 35 美元实际上相当于今天的 39.88 美元。也就是说，9 年后的今天，以相同的价格，用户将获得更好的树莓派： 处理器快 40 倍（1.5GHz 四核 vs 700 MHz 单核）8 倍存储（256GB vs 2GB）支持 WiFi...阅读全文
。Rosco 基于 Packer 的镜像创建服务，她将一个 Debian 或者 RedHat 的包封装到虚拟机镜像中，这个过程有点像烘焙，所以也叫 image bake。Front50 存储所有pipeline，应用，通知的原信息。Igor 对接 Jenkins 的服务，比如 pipeline 中需要调用 jenkins，那么就依赖这个服务。Echo 提供通知服务，对接各种各样的服务商：Slack, Hipchat, SMS (via Twilio) , Email。Rush 脚本执行引擎。 管理方法 Spinnaker 看起来也是一个复杂的微服务架构，由不少服务组成，所以本身也遵循一些运维准则： 每个 Spinnaker 的服务（如 deck，gate，orca）都运行在独立的 cluster 中...阅读全文
ipset 是 iptables 的扩展，它允许你创建匹配整个地址集合的规则，而不像普通的 iptables 链只能单IP或单网段匹配。 ipset 规则中的IP地址集合存储在带索引的数据结构中，这种结构即时集合比较大也可以进行高效的查找，从而减少系统资源占用或网络拥塞。IPset 也具备一些新防火墙设计方法，并简化了配置。ipset 的官网：http://ipset.netfilter.org 下面我们以一个实际场景为样例，介绍如何在Debian系统中，使用 ipset 将单个国家的左右 IP段 加入黑名单。 #### 准备工作：安装 ipset、或者网段列表 sudo apt-get -y install ipset wget -P . http://www.ipdeny.com...阅读全文
Client-go 与 Kubernetes 进行交互，数据使用 MySQL 存储。 项目地址：https://github.com/Qihoo360/wayne...阅读全文
你有没有想过为什么安装在你系统上的某个二进制文件或软件包没有按预期的那样来运行，或者说没有按正常的方式来运行，也许它根本就无法启动。 考虑到这是维护系统上未损坏软件包的一个重要因素，因而对照存储在软件包中的信息，验证文件系统上的文件是个重要步骤，为此需要阅读本文。 推荐阅读：《学会如何在Linux下生成MD5校验和并使用它来校验文件?》 如何对照MD5校验和校验已安装的Debian软件包? 在Debian/Ubuntu系统上，你可以使用debsums工具来校验已安装软件包的MD5和。如果你想在安装之前知道关于debsums软件包的信息，可以使用APT-CACHE，就像这样： $ apt-cache search debsums 下一步，使用apt命令来安装它，如下所示： $ sudo...阅读全文
本文档是描述 .gitlab-ci.yml 详细用法的下半部分，上半部分的内容请参考这里。.gitlab-ci.yml 文件被用来管理项目的 runner 任务。如果想要快速的了解GitLab CI ，可查看快速引导。 该文件存放于项目仓库的根目录，它定义该项目如何构建。 参考阅读：Gitlab CI 配置文件 .gitlab-ci.yaml 详解（上） artifacts 注意： 非Windows平台从GitLab Runner v0.7.0中引入。 Windows平台从GitLab Runner V1.0.0中引入。 在GItLab 9.2之前，在artifacts之后存储缓存。 在GItLab 9.2之后，在artifacts之前存储缓存。 目前并不是所有的executors都支持...阅读全文
索引所需的整体空间使用率，同时提高了整体查询性能。 PostgreSQL 13 引入了增量排序，即在查询中较早步骤的排序数据可以加速后面步骤的排序。此外，PostgreSQL 现在可以使用扩展的统计信息（可通过CREATE STATISTICS访问）来为带有OR子句和IN/ ANY查找列表的查询创建改进的计划。 在 PostgreSQL 13 中，更多类型的聚合查询和分组查询可以利用 PostgreSQL 的高效哈希聚合功能，因为具有大型聚合的查询不必完全放入内存。对分区表的查询也得到了性能提升，因为现在有更多的情况下可以修剪分区和直接联接分区。 优化管理 清理(Vacuuming)是 PostgreSQL 管理的一个重要部分，使数据库在更新和删除行后能够回收存储空间。此过程也会带来管理上的...阅读全文
英特尔刚刚发布了迄今为止最为密集的 SSD 产品，它就是面向数据中心应用的 P4500 。为了将 32TB 的容量纳入单块 SSD，尽管其身材依然纤薄（宽高 1.5×0.3 英寸 / 3.8×0.8 厘米），但长度已经达到了丧心病狂的 12 英寸（30.5 厘米）。存储颗粒方面，其选用了 64 层堆叠的 3D NAND 架构。不过英特尔表示，它只需一半的气流，即可满足运行时的散热需求。 Intel P4500 是当前最密集的 SSD，将 32TB 容量纳入 12 英寸“标尺”外形。32 组 P4500 SSD 可纳入一个标准服务器插槽，总容量达到 1PB（1024TB）。 这些 3D NAND SSD 的功耗只有 1PB SATA 机械硬盘的 10%，空间占用更是只有 5% 。对于 IBM...阅读全文
2021 年每月（以及之后的双月刊）系列“ Debian 热门话题”（日文）撰写在日本组织一些当地 Debian 活动，尤其是东京。Debian 议程为贡献者和用户提供更好的 Debian “体验”。向用户提供“一些尝试”并听取他们的声音，然后在贡献者之间进行讨论。更多的基础设施变化，对 Web、Wiki、BTS、存储库等 Debian 基础架构进行更多更改。知识和技术的更新和转让，与新的贡献者讨论、转移和改进旧的知识体系。此外，Hideki Yamane 还在展示页面中警告“我可能是 DPL 有史以来最差的候选人”：不擅长英语（可以使用 Eng“r”ish ;），所以无法回答一些复杂的问题。没有任何技巧来调解贡献者之间的争吵，只有：保持冷静，保持安全。...阅读全文
）APT 建议默认启用删除了 deb-multimedia 存储库和软件包带有 backports 仓库的 Debian 10 Buster 软件包基础 发布公告：https://blog.linuxmint.com/?p=3867...阅读全文
对于所有开源爱好者来说，今天是个大喜的日子，Linus Torvalds很高兴地宣布了Linux Kernel 4.0全新内核。 从版本上就可以看出Linux 4.0的变化之大，事实上也的确如此，尤其是打补丁后不需要重启了。 Linux新的补丁更新机制叫做“live patching”（实时补丁），可以对系统内核进行更新而不用重启。该功能由SUSE Enterprise Linux kGraft、Red Hat Kpatch合并升级而来。 普通用户对这个可能没啥感觉，但如果你是企业的网管，就会对打补丁再重启深恶痛绝了，那可意味着整套系统的下线。Windows要是啥时候也能会这招就好了，那意味着你的系统甚至可以连续运行几年乃至十几年！ 新系统还更新了大量驱动，包括Radeon DRM驱动支持...阅读全文
Cortex-M33 CPU 开始使用。这将使得 Arm 客户能够向基于 Cortex-M 的 IoT CPU 添加自定义指令，以针对特定市场量身定制芯片。 Dirvin 说到：“例如，有些数学算法是重复的。如果我们要使用一块硅存储片来维护它，那么拥有一条指令将会非常好。但这与 Arm 想要的不符。不过现在使用自定义指令后，我们的合作伙伴将能够针对该市场专门对芯片进行优化。” 为此，许多行业从业者和分析家将 Arm 的这些声明视为对 RISC-V 日益严峻挑战的回应。由于 RISC-V 具有相当吸引人的优势 —— 高度的自由性、轻量级和可扩展性，它已引起 NVIDIA 和 Qualcomm 等技术巨头的广泛关注。 Dirvin 则强调，即使没有 RISC-V 的兴起，Arm 也会推出其政策变更。“创新...阅读全文
消，将返回nil。Err 如果Done返回的channel没有关闭，将返回nil;如果Done返回的channel已经关闭，将返回非空的值表示任务结束的原因。如果是context被取消，Err将返回Canceled；如果是context超时，Err将返回DeadlineExceeded。Value 返回context存储的键值对中当前key对应的值，如果没有对应的key,则返回nil。可以看到Done方法返回的channel正是用来传递结束信号以抢占并中断当前任务；Deadline方法指示一段时间后当前goroutine是否会被取消；以及一个Err方法，来解释goroutine被取消的原因；而Value则用于获取特定于当前任务树的额外信息。而context所包含的额外信息键值对是如何存储的呢...阅读全文
Ruby app, this was enough.via https://twitter.com/antirez/status/1238132866682359813 Antirez 解释道，选择这么便宜的配置是因为这台主机使用了 Redis 作为持久存储，并且只跑了一个 Ruby 应用（点此查看源码），所以已经足够应对。...阅读全文
干嘛的？“如果把腾讯比作一个工厂，那么数据中心就是车间，信息需要在这里集中处理、存储、交换。”腾讯技术工程事业群任职数据中心技术总监朱华说。 那个名叫T-block的技术，是腾讯数据中心自主研发的第四代技术。 腾讯数据中心的技术发展，总共经历四个阶段： 第一代（2006-2009），基本是沿用了传统电信机房的解决方案（厂房改造，风冷，N+1冗余），只在局部做了点优化，比如冷热通道隔离； 第二代（2007-2011），从天津开启数据中心的大而全模式，10万量级、大型离心冷水机组、10KV Switch Gear、变压器上楼、中压油机、UPS、STS、AHU、MAU、封闭热通道、预作用水消防、水侧Free cooling、Air side economizer； 第三代TMDC（2011...阅读全文
按计划，JDK 10 将于 3 月 20 日正式发布。据前 Oracle 员工 Simon Ritter 的统计，JDK 10 总共包含 109 项新特性。当然，在最终发布前，可能还会发生变化。 新特性中最重要的，是我们之前曾报道过的 12 个 JEP ： JEP 286: 局部变量的类型推断。该特性在社区讨论了很久并做了调查，可查看 JEP 286 调查结果。 JEP 296: 将 JDK 的多个代码仓库合并到一个储存库中。 JEP 304: 垃圾收集器接口。通过引入一个干净的垃圾收集器（GC）接口，改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC。 JEP 310: 应用类数据共享。为改善启动和占用空间，在现有的类数据共享（“CDS”）功能上再次拓...阅读全文
期待已久的 Java 10 已正式发布！你可以通过这里下载 Java 10 正式版。为了更快地迭代，以及跟进社区反馈，Java 的版本发布周期变更为每六个月一次，并且承诺不会跳票。新的发布周期也会严格遵循时间点，将在每年的 3 月份和 9 月份发布。 Java 10 是采用新发布周期的第一个版本，提供了 109 项新特性，其中最备受关注的莫过于局部变量的类型推断。 相关链接： JDK 10 安装指南 JDK 10 发布说明 Readme Java 10 的 12 项关键新特性： JEP 286: 局部变量的类型推断。该特性在社区讨论了很久并做了调查，可查看 JEP 286 调查结果 JEP 296: 将 JDK 的多个代码仓库合并到一个储存库中 JEP 304: 垃圾收集器接口。通过引入一...阅读全文
或bpftrace等项目间接使用eBPF，这些项目在eBPF之上提供了抽象，并且不需要直接编写程序，而是提供了指定基于意图的定义的功能，然后使用eBPF实施。 如果不存在更高级别的抽象，则需要直接编写程序。 Linux内核希望eBPF程序以字节码的形式加载。虽然当然可以直接编写字节码，但更常见的开发实践是利用LLVM之类的编译器套件将伪C代码编译为eBPF字节码。 在编写eBPF程序之前，需要简单了解几个概念。 1）map(映射) ：BPF最令人着迷的方面之一是，内核上运行的代码和加载了该代码的程序可以在运行时使用消息传递相互通信。 BPF映射是驻留在内核中的键/值存储。任何BPF程序都可以访问它们。在用户态中运行的程序也可以使用文件描述符访问这些映射。只要事先正确指定数据大小，就可以在映射...阅读全文
types 已废除，将会在10.0中移除。用stages替代。 与stages同义 variables GitLab Runner V0.5.0. 开始引入 GItLab CI 允许在.gitlab-ci.yml文件中添加变量，并在job环境中起作用。因为这些配置是存储在git仓库中，所以最好是存储项目的非敏感配置，例如： variables: DATABASE_URL:"postgres://postgres@postgres/my_database" 这些变量可以被后续的命令和脚本使用。服务容器也可以使用YAML中定义的变量，因此我们可以很好的调控服务容器。变量也可以定义成job level。 除了用户自定义的变量外，Runner也可以定义它自己的变量...阅读全文
基本概念 Prometheus 所有采集的监控数据均以指标（metric）的形式保存在内置的时间序列数据库当中（TSDB）：属于同一指标名称，同一标签集合的、有时间戳标记的数据流。除了存储的时间序列，Prometheus 还可以根据查询请求产生临时的、衍生的时间序列作为返回结果。 样本在时间序列中的每一个点称为一个样本（sample），样本由以下三部分组成： 指标（metric）：指标名称和描述当前样本特征的 labelsets； 时间戳（timestamp）：一个精确到毫秒的时间戳； 样本值（value）： 一个 folat64 的浮点型数据表示当前样本的值。
虽然GIMP 3.0的开发工作拖拖拉拉，但GIMP 2.10.x稳定系列继续迎来新的功能。今天新出炉GIMP 2.10.22支持基于AV1的AVIF图像格式的导入和导出。AVIF是一种非常有前途的图像格式，基于免版税的AV1技术，已经被Firefox和Google Chrome等网络浏览器支持，同时继续在其他照片/图像软件中得到采用。 相比较 WebP 和 JPEG 等格式，AVIF 的压缩能力明显更好。AVIF 支持全分辨率下的 10 位和 12 位色彩，以及高动态范围（HDR）。AV1 还使用了一种新的压缩技术：从色度到亮度。大多数图像格式将亮度与色相分开存储。AVIF 使用亮度通道来猜测颜色通道的样子，它们通常是相关的，所以AVIF可以提供更小的文件大小和更清晰的边缘。 不仅如此...阅读全文
Shakespeare服务里，这可能意味着Spanner的asset只包含一个指针，指向被引用的数据库schema存储的位置。 asset通常会引用特定的资源——数据库，job，配置等等。但是，建模高层级概念也是很常见的。比如，asset可以描述最终想要部署的二进制文件的版本，而单独的job asset可能会引用前一个版本。代表其他asset组合（比如，每个故障域）的asset也很常见。 分区 asset被分组到称为分区的管理边界中。分区通常与服务 1：1 匹配，但是也有例外。例如，给定用户可能希望其 QA 环境有一个分区，Prod 环境有另一个分区。另一个用户可能对其 QA 和 Prod 环境使用相同的分区。在实践中，我们利用分区的概念来简化管理。仅举几个例子： 内容生成是按分区发生的很多ACL都是按照分区设...阅读全文
性就是序列 ID，它允许基于操作的分片恢复。 以前，如果由于网络问题或节点重启而从集群断开连接的节点，则节点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。 这可能是一个漫长而昂贵的过程，甚至使节点的滚动重新启动非常缓慢。 使用序列 ID，每个分片将只能重放该分片中缺少的操作，使恢复过程更加高效。 使用排序索引更快查询 通过索引排序，只要收集到足够的命中，搜索就可以终止。它对通常用作过滤器的低基数字段（例如 age, gender, is_published）进行排序时可以更高效的搜索，因为所有潜在的匹配文档都被分组在一起。 稀疏区域改进 以前，每个列中的每个字段都预留了一个存储空间。如果只有少数文档出现很多字段，则可能会导致磁盘空间的巨大浪费。现在，你付出你...阅读全文
Kodachi Linux 是一款基于 Debian 8.6 的操作系统。它是专为保护用户隐私而设计的，因此具有高度的安全及匿名性，并具备反调查取证的特点。 Kodachi 的使用也非常方便简单，你可以通过 USB 驱动来在你的 PC 上启动它。当你完全启动 Kodachi 操作系统后，你将会建立一个 VPN+Tor+DNScry 服务器的运行环境。你不需要特别了解或学习 Linux 的知识，Kodachi 都为你准备好了你所需要的！整个操作系统都活动在你的临时内存 RAM 下。因此，你一旦你关机，任何的操作痕迹都会被清除，避免你的隐私泄露及被追踪调查。 Kodachi 是一个实时的操作系统，你可以从几乎任何计算机上来启动它。例如：从 DVD，U盘 或 SD卡等。它旨在保护你的隐私及匿名性...阅读全文
作为工业版本的“树莓派”，HackBoard 已经迎来了第二代产品更新。这款单板机配备了双核 @ 2.8GHz 的英特尔赛扬 N4020 处理器，具有高度的可配置特性，且支持 4G / 5G 蜂窝移动网络。感兴趣的朋友，可拿出 99 美元（约 649 RMB）去支持 HackBoard 2 的 Ubuntu Linux 版本、或以 140 美元（约 649 RMB）的价格获取 Windows 10 专业版。 除了英特尔赛扬 N4020 处理器，HackBoard 2 还板载了 4GB DDR4 内存，辅以支持 4TB 存储空间的两个 NVMe SSD 插槽。 显示方面，赛扬 N4020 集成了 Intel UHD Graphics 600 核显，支持 4K HDMI 输出，另有支持...阅读全文
细信息，请参阅这两篇文章：Nonblocking IO & The method to epoll’s madness. 简化流程如下： 数据存储这块解决了，那么针对连接上来的客户端socket，该用什么数据结构保存进来呢？这里用到了红黑树，由于客户端socket会有频繁的新增和删除操作，而红黑树这块时间复杂度仅仅为O(logN)，还是挺高效的。有人会问为啥不用哈希表呢？当大量的连接频繁的进行接入或者断开的时候，扩容或者其他行为将会产生不少的rehash操作，而且还要考虑哈希冲突的情况。虽然查询速度的确可以达到o(1)，但是rehash或者哈希冲突是不可控的，所以基于这些考量，我认为红黑树占优一些。 客户端socket怎么管理这块解决了，接下来，当有socket有数据需要进行读写事件处理的时...阅读全文
在真正的生产环境中，如何合理的分配服务器资源、提高利用率、让整个集群运行的更加稳定使得 k8s-scheduler 这个角色在集群中的地位愈发重要。 kube-scheduler的预选(过滤)和精选(打分) api-server会将创建pod的请求发送给kube-scheduler，并且将pod信息记录在etcd数据库中。之后kube-scheduler会根据预选（过滤）规则，首先过滤掉一部分node节点中的pod，没有被过滤掉的pod可以看做是可以被调度的pod，之后再通过更加严格的规则给剩下的pod打分，这一步也叫作优选。打分最高的pod可以看做被优先分配到pod任务。 调度流程简介 创建pod的命令被api-server的api接口接收到。api-server将pod信息存储在...阅读全文
针对性地使用Btrfs的一些特性来提高我们手头工作的性能。我们比较关注在系统任务管理、快照之类的事情上。 Linux.com：我们都知道Facebook是Linux的重度用户。在Facebook庞大的基础设施里，哪些地方用到了Linux？ Chris Mason：简单地说，Facebook所有的基础设施都使用了Linux。围绕分布式操作系统我们利用了Btrfs的很多特性，比如分布式任务管理、利用快照功能快速更新以及哈希校验功能，等等。 我们在相当数量的机器上运行着Gluster——既支持XFS也支持Btrfs，我们的目标就是做好存储这件事。在Gluster上喜欢用Btrfs的其中一个原因是，数据循环冗余校验（cyclic redundancy checks）和元数据循环冗余校验使我们能够检测...阅读全文
他们赞助该项目的原因： 性能。Rust 非常快且内存效率高：没有运行时或垃圾收集器，它可以为关键性能服务提供支持，可以在嵌入式设备上运行，并且可以轻松地与其他语言集成。可靠性。Rust 的丰富类型系统和所有权模型保证了内存安全性和线程安全性，并能使开发者在编译时消除许多类的错误。生产率。Rust 拥有出色的文档，友好的编译器以及有用的错误消息以及一流的工具——集成的软件包管理器和构建工具，具有自动完成和类型检查的智能多编辑器支持，自动格式化程序等。 接着，AWS 还列举了几个优秀的 Rust 库，并称赞了它的包容性社区，最后表示“Rust 连续四年被评为 Stack Overflow 的最受欢迎语言不足为奇”。 对于 Rust 来说，它可以使用 AWS 服务来执行以下操作： 在 S3 上存储...阅读全文
-agent-ds-ready作为其节点选择器；kube-proxy addon 开始使用标签node.kubernetes.io/kube-proxy-ds-ready作为其节点选择器；metada -proxy addon 开始使用标签cloud.google.com/metada -proxy-ready作为其节点选择器。 存储 当为 CSI 驱动启用 PodInfoOnMount 时，Volume 上下文中新的 csi.storage.k8s.io/ephemeral 参数允许驱动程序的 NodePublishVolume 实现根据具体情况确定该 Volume 是临时性的还是正常的持久卷（#79983） 为 VerifyVolumesAreAttached 和 BulkVolume...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
本月早些时候，Angular 团队发布了 6.0 的第五版候选版本 ，其中包括一些错误修复以及添加令牌标记和支持配置导航网址。 根据 Angular 的开发者支持者 Stephen Fluin 的说法，RC 意味着团队已经在一定程度上实现了正式版的稳定性，并且已经完成了添加功能和更改 API。 Fluin 还解释说，该团队有两个发布曲目。 首先，他们向公众发布了新闻稿，其中包括团队对 Angular 所做的每一项变更，并将其合并到主分支中。 第二个是谷歌将所有的 Angular 源代码放在一个存储库中，这意味着 Angular 的每一个变化都已经在谷歌的超过 500 种产品中使用。 6.0 版本的关键功能是将所有版本的框架结合起来，这意味着核心路由器，平台浏览器，CLI，Angular...阅读全文
.SourceTree https://www.sourcetreeapp.com/ 2.2配置用户信息 $ git config --global user.name "shang" $ git config --global user.email [email protected] 2.3Git文件的三种状态 在 Git 内都只有三种状态：已修改（modified）、已暂存（staged）和已提交（committed）。已修改表示修改了某个文件，但还没有提交保存；已暂存表示把已修改的文件放在下次提交时要保存的清单中；已提交表示该文件已经被安全地保存在本地数据库中了； 3.获取 Git 仓库 有两种取得 Git 项目仓库的方法。 第一种是在现有项目导入所有文件到 Git 中。 第二种是从一个服务器克隆一个现有...阅读全文
引入的新的仲裁控制器确保元数据在整个仲裁中可以被准确复制。活动控制器将元数据存储在事件源日志主题中，仲裁中的其他控制器对活动控制器创建的事件做出响应。事件日志定期进行快照，确保日志不会无限增长。与基于 ZooKeeper 的控制器不同，如果出现了问题，仲裁控制器不需要从 ZooKeeper 加载状态，因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口，缩短了系统最坏情况恢复时间。下图显示了使用新的仲裁控制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。新的 KRaft 共识算法和仲裁控制器使得 Kafka 集群可以扩展到数百万个分区，不仅提升了稳定性，让 Kafka 变得更容易监控、管理和支持，而且让整个系统可以有一个单一的安全模型，使...阅读全文
是 Linux 文件系统的一种新压缩技术，你可以选择待定的文件扩展技术。 4、解决 32 位系统的 2038 年问题 Unix 和 Linux 将时间值以 32 位有符号整数格式存储，其最大值为 2147483647。时间值如果超过这个数值则将由于整数溢出而存储为负数。 这意味着对于 32 位系统，时间值不能超过 1970 年 1 月 1 日后的 2147483647 秒。也就是说，在 UTC 时间 2038 年 1 月 19 日 03:14:07 时，由于整数溢出，时间将显示为 1901 年 12 月 13 日而不是 2038 年 1 月 19 日。 Linux kernel 5.6 解决了这个问题，因此 32 位系统也可以运行到 2038 年以后。 5、改进硬件支持 很显然，在下一个发布...阅读全文
云存储服务商Backblaze发布了二季度的硬盘故障率统计报告。 此次统计涵盖了BB旗下的177935块机械硬盘，总的年化故障率为1.01%。 硬盘出问题数量最多型号来自希捷4TB（ST4000DM000），但需要注意的是其通电服役时间同样比较长，整体年化故障率1.94%。 有三款硬盘在统计周期内没有故障发生，分别是希捷6TB（ST6000DX000）、HGST 12TB（HUH72122ALE600）和西数16TB（WUH72186ALE6L0）。 综合来看，在二季度，西数以及西数旗下的HGST硬盘，可靠性整体表现还是最为可圈可点。 另外，BB还统计了从2013年至今的硬盘故障率表格，并得出东芝16TB、西数14TB和HGST的12TB/4TB是年化故障率最低的三块硬盘。 - THE...阅读全文
有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为，改善用户体验，将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上，并通过Hadoop进行分析、生成日常报告。 流处理：保存收集流数据，以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理，汇总，扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文
，和 Barrier 对齐阻塞数据影响性能处理的问题。 3. Generalized Incremental Checkpoint [2] Generalized Incremental Checkpoint 主要是用于减少 Checkpoint 间隔，如左图 1 所示，在 Incremental Checkpoint 当中，先让算子写入 state 的 changelog。写完后才把变化真正的数据写入到 StateTable 上。state 的 changelog 不断向外部进行持久的存储化。在这个过程中我们其实无需等待整个 StateTable 去做一个持久化操作，我们只需要保证对应的 Checkpoint 这一部分的 changelog 能够持久化完成，就可以开始做下一次...阅读全文
" MYSQL_SERVICE_PASSWORD: "123456" 参数说明： MYSQL_SERVICE_HOST：数据库地址（这里使用上面部署的 Mysql，由于部署在 K8S 里面，所以使用 Mysql Service 提供的 K8S 内部地址） MYSQL_SERVICE_PORT: 数据库端口。 MYSQL_SERVICE_DB_NAME: 指定使用的库名称。 MYSQL_SERVICE_USER: 数据库用户名。 MYSQL_SERVICE_PASSWORD: 数据库密码。 NACOS_APPLICATION_PORT：指定 Nacos 端口号。 PREFER_HOST_MODE：配置 Nacos 集群节点间服务发现使用的模式，支持 hostname、ip 两种模式。 JVM_XMS: 设置 JVM 最大堆内存大小...阅读全文
Kali Linux 2017.1 发布了。此版本包括对 RTL8812AU 无线网卡注入的支持，对 CUDA GPU 破解的简化支持，在 Kali 存储库中打包的 OpenVAS 9 等，还有用于云实例的 Kali Linux 的 Azure 和 AWS 映象文件。 与所有新版本一样，该版本可以使用更新的软件包，更新的内核，提供更多更好的硬件支持以及一系列更新工具的共同特征，但是这个版本还有一些惊喜。 官方表示此前收到一个功能要求，要求安装 RTL8812AU 无线芯片组的驱动程序。 这些驱动程序不是标准 Linux 内核的一部分，并且已被修改为允许注入。为什么这是大事呢？该芯片组支持 802.11 AC，这是使注入相关无线攻击符合本标准的首要驱动力之一。 新版可用功能的总结可在项目 发...阅读全文
Linux block 子系统的负责人 Jens Axboe 目前就职于 Facebook，他也因开发了 IO_uring 而闻名，他对 IO_uring 的不断开发与优化使得 Linux 系统的 I/O 性能得到巨大提升。一周前，Jens Axboe 开始对内核的 I/O 性能进行了新一轮的优化，以便在单个 CPU 核心上获得 800 万 IOPS。经过一周时间的努力，每个核心能够实现 890 万左右的 IOPS，就当大家以为这个数字已经达到他所使用的硬件极限，没有更多优化空间时，本周他又成功地将每个核心的 IOPS 推到了 1000 万。IOPS（Input/Output Operations Per Second）是一个衡量电脑储存装置（如 HDD、SSD）输入/输出性能高低的指标...阅读全文
: 表示禁止使用swap 60: 默认 100: 疯狂使用swap 2. 操作方法 # sysctl vm.swappiness=VALUE # sysctl vm.swappiness=20 或者 # echo VALUE > /proc/sys/vm/swappiness # echo 30 > /proc/sys/vm/swappiness通过在线增加swap分区大小，临时控制内存泄露，内存不够用等异常。1. 需要root用户 2. 创建存储文件 # dd if=/dev/zero of=/home/swap2G bs=1024 count=2M 3. 安全设置 # chown root:root /home/swap2G # chmod 0600 /home/swap2G 4. 创建...阅读全文
Montecelo在公告中说道。 现在有超过4000个Debian软件包可用于64位RISC-V 根据Montecelo的说法，目前在debian-ports基础架构中为RISC-V 64位（riscv64）架构成功构建了4000多个Debian软件包，这相当于Debian(不稳定)软件存储库中大约30%的包。 但是，目标是构建所有由维护人员上传到档案中的Debian软件包。目前，riscv64 Debian端口背后的团队几乎在上传完成后立即为RISC-V 64位体系结构构建这些软件包。 那些想在他们的64位RISC-V设备上运行Debian GNU/Linux的人现在可以下载rv64gc Debian软件包（.deb），这些软件包已经成功编译并针对riscv64体系结构进行了优化。通常，您可以在上传到存档...阅读全文
/actors/
服务监控系统 Prometheus 2.0 已发布，Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。 Prometheus 2.0 有一个简单而强大的运营模式。然而，基础设施领域也没有停滞不前，像 Kubernetes 和 Mesos 这样的项目正在迅速改变软件的部署和管理方式。受监控的环境变得越来越活跃。 存储 Prometheus 2.0 有性能显着提高，几乎在所有方面都有所改进。查询延迟更加一致，特别是在高系列流失的情况下，它的规模更大。在不同的现实世界生产情景下测量的资源消耗也显着下降： 与 Prometheus1.8 相比，CPU 使用率 降低了 20％ – 40％ 与普 Prometheus1.8 相比， 磁盘空间使用率 降低了 33...阅读全文
