按Kubernetes每季推出新版本的周期，暨今年3月底发布1.6版后，应该即将有一波大公布。果不其然，作为Kubernetes 1.7开发团队成员之一的Mirantis，在近日宣布，Kubernetes 1.7版会如期在6月底发布。 在1.6版中，Kubernetes不仅新增了角色权限控管，还将集群规模扩大至5,000个节点，但对Kubernetes社区而言，1.6版只不过是求稳定，并无太多新功能。Mirantis表示：1.7版本则是全力锁定推新功能，预计会有超过50个新功能，例如丛集联邦、安全性以及容器网络。 而根据Kubernetes现今对外的文件，还可发现许多有趣的新功能，像是支持容器基础组件Containerd、加强容器Runtime接口等。在容器储存功能方面，则预计开始支持本地...阅读全文
，就因为dev团队正在推出的破烂玩应，他们大半夜的得被叫起来。这种思维方式基本上已经过时了，正是思维方式使得人们都觉得干运维这一行的都是深深厌恶自己，一根接一根不停抽烟。这是由于缺乏同理心而产生的避重就轻、刻薄的想法。如果凌晨两点出现内存不足的异常，要不要去警告那些没有远见或者能力的运维人员去解决这个问题呢？还是说我们应该警告那些对系统相当熟悉的开发者呢？后一种做法似乎是明显的，但是关键在于他们需要被授权获悉状况，调试后自动解决。 其实新运维模式本质上应该把运维看作是一个产品团队，其产品就是基础设施。就像开发者把 API 作为他们提供的服务，运维把 API 以工具、UI、自动化、基础设施即代码、可观察性和警戒的形式作为他们提供的基础设施。 @perterbourgon 关于这个话题，我有很多想...阅读全文
（"hot spot"热点竞争问题）工作负载。 2. NoSQL：MySQL 从 5.7 版本开始提供 NoSQL 存储功能，目前在 8.0 版本中这部分功能也得到了更大的改进。该项功能消除了对独立的 NoSQL 文档数据库的需求，而 MySQL 文档存储也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。 3. 窗口函数(Window Functions)：从 MySQL 8.0 开始，新增了一个叫窗口函数的概念，它可以用来实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似，但它不会将多行查询结果合并为一行，而是将结果放回多行当中。即窗口函数不需要 GROUP BY。 4. 隐藏索引：在 MySQL 8.0 中，索引可以被...阅读全文
和使用 sudo 为默认 – >使用当前密码 – >OK ->使用当前密码 ->OK。 完成以上操作后，接着我们来重启系统，此时它将从你的硬盘驱动器启动。 注意： 我们不建议在任何电脑上永久安装 Kodachi Linux，因为它会将所有的设置保存在硬盘上，这就违背了该系统反取证的初衷！了解更多关于取证内容，请点击 这里 。 Kodachi 是一个基于 Debian 的实时 DVD / USB 操作系统，因此所有软件包，也都基于纯 Debian 存储库。 Kodachi 是 Apache License 2.0 下的开源项目，所有在系统上使用的代码都是纯文本 bash 脚本，并且包含在 ISO 包中，没有编译过的二进制代码， 也没有隐藏的 Kodachi 代码，这些代码都可在 GitHub...阅读全文
前言 Git是目前非常流行的协同开发工具，很多开源网站都使用Git作为代码管理仓库(例如 开源中国，GitHub)，不管是开发还是产品、设计师，Git都很适合，而且很多IDE默认集成了Git，熟练的使用Git会起到事半功倍的效果，所以今天我为大家分享一下Git的介绍与使用。 1.Git是什么？ Git是目前世界上最先进的分布式版本控制系统（没有之一）。 1.1什么是版本控制？ 版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。如果你是位网页设计师，可能会需要保存某一幅图片或页面布局文件的所有修订版本。 有了它你就可以将某个文件回溯到之前的状态，甚至将整个项目都回退到过去某个时间点的状态，你也可以比较文件的变化细节，查出最后是谁修改了哪个地方，从而找出导致怪异问题...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
Redis 创始人兼核心开发者 antirez 在博客 介绍 了将在 Redis 6 提供的新功能 —— Client side caching（客户端缓存）。 antirez 表示 全新的 Redis 协议 RESP3 将是 Redis 6 中最重要的特性，并解释了他为何如此急切地改进 Redis 协议，原因主要有两个，一是因为希望能为客户端提供更多的语义化回复（semantical replies），以开发使用旧协议难以实现的功能；另一个原因也是 antirez 认为最重要的一个，实现 Client side caching（客户端缓存）功能 。 这个功能十分常见，但 Redis 尚未提供。 当使用者需要进行快速存储或快速取操作时，就需要在客户端内存中存储一小部分信息，这是为了降低程序...阅读全文
从 Notion 到 Focalboard近两年来，Notion 作为一款在线笔记应用，以其强大的功能和优雅的颜值获得了大量用户的关注和喜爱。大量的用户通过 Notion 的 Block 、Database等功能，挖掘了适合教育、营销、市场管理、开发等多个场景的使用模版。然而，Notion 在国内使用也有不少槽点：加载速度慢、迟迟没有提供汉化版、不能离线使用、本地存储等。当然，这些槽点也有一些解决方案。比如，针对网络问题，可以使用 Notion Fast等插件进行加速；针对语言问题，现在已经有了非官方的汉化方案。离线使用和本地存储的话，不知道 Notion 是否有相关规划。Notion对于一些用户而言，由于工作环境存在数据加密等需求，离线使用和本地存储成为刚需。对此，Anytype 这款开...阅读全文
的异步模型。2.6 及以前的版本，元数据全部存储在 URL 上，配置信息和注册信息只能存储在注册中心上，注册中心的容量和扩展成为瓶颈。这个限制在使用 ZooKeeper 作为注册中心的大规模 Dubbo 应用场景下尤为突出。在 2.7.0 中，通过对 URL 的改造，将 注册中心拆分成了三个中心 ，分别是注册中心、配置中心和元数据中心，三者各司其责，不仅有效地解决了上述容量问题，而且很好地适应了微服务的技术架构，用户可以开始自由选择适合自己场景的注册中心和配置中心。2.7.0 将内建支持 ZooKeeper、Nacos 和 Apollo 等第三方注册和配置中心，在后续的版本中，还会进一步提供对 Consul 和 etcd 的支持。另外，通过引入一个全新的元数据中心，将与注册配置无关的服务信息...阅读全文
需要的只是 Node.js。Docker 容器应该只包含一个进程以及用于运行这个进程所需的最少的文件，你不需要整个操作系统。实际上，你可以删除 Node.js 之外的所有内容。 但要怎么做？所幸的是，谷歌为我们提供了 distroless。以下是 distroless 存储库的描述： “distroless”镜像只包含应用程序及其运行时依赖项，不包含程序包管理器、shell 以及在标准 Linux 发行版中可以找到的任何其他程序。 这正是你所需要的！你可以对 Dockerfile 进行调整，以利用新的基础镜像，如下所示： FROM node:8 as build WORKDIR /app COPY package.json index.js ./ RUN npm install FROM...阅读全文
题，详见图3。 图3：每个服务模型必须和每个基础架构提供者集成 如果只需要处理几个基础架构提供者，N*M问题还是可以管理的。随着基础架构提供者数量的增多（看看Google Cloud，AWS和Microsoft Azure上的产品数量），这些集成的数量和质量问题就开始出现了。 实际上减少基础架构提供者的数量不太实际。每个提供者都在提供不同的服务（比如，键值存储，pub/sub系统等），并且一些冗余不得不存在，就算定义好规则也会有很多异常情况出现。使用单个服务模型也不现实——这个模型必须能够暴露所有基础架构提供者的每一个特性，这违反了服务模型的初心。 Google的工程师们花费了大量时间将他们需要的服务模型连接到想要使用的基础架构上。我们显然需要一种不同的配置方案。 — 2 — 大规模部署 在...阅读全文
探针则不会生效。译者：还有一点尽量为 Pod 内的所有容器都定义探针。使用自动缩放在适当的情况下，可以使用自动缩放来动态调整 pod 的数量（Pod 水平自动缩放器，HPA）、pod 消耗的资源量（Pod 垂直自动缩放器, VPA）或集群中的节点数量（集群自动缩放器，CA），具体取决于 对资源的需求。Pod 水平自动扩缩器还可以根据 CPU 需求扩展复制控制器、副本集或有状态集。使用缩放也带来了一些挑战，例如不在容器的本地文件系统中存储持久数据，因为这会阻止水平自动缩放。相反，可以使用 PersistentVolume。当集群上存在高度可变的工作负载并且可能根据需求在不同时间需要不同数量的资源时，集群自动缩放器非常有用。 自动删除未使用的节点也是省钱的好方法！译者：更多自动缩放的内容，可以浏...阅读全文
TensorFlow 是一个端到端开源机器学习平台。它拥有一个包含各种工具、库和社区资源的全面灵活生态系统，可以让研究人员推动机器学习领域的先进技术的发展，并让开发者轻松地构建和部署由机器学习提供支持的应用。 TensorFlow可以在系统范围内，Python虚拟环境中，作为Docker容器或与Anaconda一起安装。在本教程中，我们将讲解如何在Debian 10的Python虚拟环境中安装TensorFlow。 虚拟环境使你可以在一台计算机上拥有多个不同的隔离Python环境，并在每个项目的基础上安装模块的特定版本，而不必担心会影响其他项目。 以下内容提供了如何在Debian 10上的Python虚拟环境中安装 TensorFlow。 1、安装Python 3 venv 首先我们要验证...阅读全文
程序可以处理这些更复杂的工作负载之前，还有很多工作要做。甚至由于驱动程序错误或未实现的 Vulkan 功能，连 Sascha 的一些演示都无法运行。 为此，接下来几个月的工作将集中在支持基本的 Vulkan 1.0 功能集，至少涉及支持计算着色器、输入附件、纹理像素缓冲区、存储镜像、pipeline 缓存和多重采样。在 Vulkan 1.0 中，还需要支持其它一些功能，例如健壮的缓冲区访问等。 一旦完成了功能开发，则可能会将重心转移到 CTS 一致性上，这将全部用于 bug 修复，并处理特殊情况。最后也会有许多性能调整和优化工作。 Raspberry Pi 基金会还介绍，目前已经将驱动程序的开发转移到一个开放的存储库中，开发者可以在其中找到有关如何构建和安装驱动的说明。...阅读全文
索引所需的整体空间使用率，同时提高了整体查询性能。 PostgreSQL 13 引入了增量排序，即在查询中较早步骤的排序数据可以加速后面步骤的排序。此外，PostgreSQL 现在可以使用扩展的统计信息（可通过CREATE STATISTICS访问）来为带有OR子句和IN/ ANY查找列表的查询创建改进的计划。 在 PostgreSQL 13 中，更多类型的聚合查询和分组查询可以利用 PostgreSQL 的高效哈希聚合功能，因为具有大型聚合的查询不必完全放入内存。对分区表的查询也得到了性能提升，因为现在有更多的情况下可以修剪分区和直接联接分区。 优化管理 清理(Vacuuming)是 PostgreSQL 管理的一个重要部分，使数据库在更新和删除行后能够回收存储空间。此过程也会带来管理上的...阅读全文
次创建这些资源的呢？其实这些工作都是由 Kubernetes 内置的 Controller(控制器) 来完成的。 Kubernetes 在整个系统中使用了大量的 Controller，Controller 是一个用于将系统状态从“当前状态”修正到“期望状态”的异步脚本。所有 Controller 都通过 kube-controller-manager 组件并行运行，每种 Controller 都负责一种具体的控制流程。首先介绍一下 Deployment Controller： 将 Deployment 记录存储到 etcd 并初始化后，就可以通过 kube-apiserver 使其可见，然后 Deployment Controller 就会检测到它（它的工作就是负责监听 Deployment...阅读全文
要做了哪些定制，有什么特色呢？ 叶理灯：如果说定制 K8S 的话，其实是违背了 K8S 的初衷。我们并没有定制 K8S，我们是基于公有云给用户提供了原生的 K8S 产品。在公有云上提供原生的 K8S，其实要做很多的工作，例如与公有云的计算、网络和存储的整合，给用户提供一个开箱即用的原生K8S集群等等。 我为什么说不应该定制呢？因为大家知道 PaaS 发展到今天，一直存在的一个问题就是供应商绑定的问题。而 K8S 之所以那么有生命力，之所以迅速流行，是因为它提供了一个开源的标准，让用户使用 K8S PaaS 平台，可以避免厂商绑定。也就是说你的服务在某个服务商的 K8S 上运行，可以无缝的迁移到另外一个服务商。 作为云厂商其实最重要的工作是，基于我们自身云平台的体系，提供原生的 K8S 给用户...阅读全文
按计划，JDK 10 将于 3 月 20 日正式发布。据前 Oracle 员工 Simon Ritter 的统计，JDK 10 总共包含 109 项新特性。当然，在最终发布前，可能还会发生变化。 新特性中最重要的，是我们之前曾报道过的 12 个 JEP ： JEP 286: 局部变量的类型推断。该特性在社区讨论了很久并做了调查，可查看 JEP 286 调查结果。 JEP 296: 将 JDK 的多个代码仓库合并到一个储存库中。 JEP 304: 垃圾收集器接口。通过引入一个干净的垃圾收集器（GC）接口，改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC。 JEP 310: 应用类数据共享。为改善启动和占用空间，在现有的类数据共享（“CDS”）功能上再次拓...阅读全文
虽然GIMP 3.0的开发工作拖拖拉拉，但GIMP 2.10.x稳定系列继续迎来新的功能。今天新出炉GIMP 2.10.22支持基于AV1的AVIF图像格式的导入和导出。AVIF是一种非常有前途的图像格式，基于免版税的AV1技术，已经被Firefox和Google Chrome等网络浏览器支持，同时继续在其他照片/图像软件中得到采用。 相比较 WebP 和 JPEG 等格式，AVIF 的压缩能力明显更好。AVIF 支持全分辨率下的 10 位和 12 位色彩，以及高动态范围（HDR）。AV1 还使用了一种新的压缩技术：从色度到亮度。大多数图像格式将亮度与色相分开存储。AVIF 使用亮度通道来猜测颜色通道的样子，它们通常是相关的，所以AVIF可以提供更小的文件大小和更清晰的边缘。 不仅如此...阅读全文
消息的同步方式，有效值为 automatic 和manual 2. 通过监控面板设置镜像队列 请注意一个事实，镜像配置的 pattern 采用的是正则表达式匹配，也就是说会匹配一组。 RabbitMQ集群节点失效，MQ处理策略： 如果某个 slave 失效了，系统处理做些记录外几乎啥都不做：master 依旧是master，客户端不需要采取任何行动，或者被通知 slave 失效。 如果 master 失效了，那么 slave 中的一个必须被选中为 master。被选中作为新的 master 的 slave 通常是最老的那个，因为最老的 slave 与前任 master 之间的同步状态应该是最好的。然而，特殊情况下，如果存在没有任何一个 slave 与 master 完全同步的情况，那么前任...阅读全文
带类型； 您的IP (Internet Protocol)地址，该地址有时可以显示您所在地理位置； 您在本网站内浏览过的页面、广告和链接； 您访问本网站时发出的访问请求及其日期、时间和引荐网址（如有）； 通过Cookie标注您的浏览器的唯一性和在本网站的账户信息（包括您访问本网站的各项活动，浏览习惯等）；您可以通过修改浏览器设置的方式拒绝cookie； 我们可能会使用浏览器网络存储（包括 HTML 5）和应用程序数据缓存等机制，在您的设备上收集和存储您所浏览过的网页信息； 如果您需要查询、更正您的个人信息或注销账号，请通过 support@debian.cn 与我们联系并提供您的账号和其他验证信息，我们在核实后会回复您的请求。 2. 信息的使用 我们仅在必要的情况下...阅读全文
”user:1000:followers”来说，节省了寥寥的存储空间，却引发了可读性和可维护性上的麻烦 最好使用统一的规范来设计Key，比如”object-type:id:attr”，以这一规范设计出的Key可能是”user:1000″或”comment:1234:reply-to” Redis允许的最大Key长度是512MB（对Value的长度限制也是512MB） String String是Redis的基础数据类型，Redis没有Int、Float、Boolean等数据类型的概念，所有的基本类型在Redis中都以String体现。 与String相关的常用命令： SET：为一个key设置value，可以配合EX/PX参数指定key的有效期，通过NX/XX参数针对key是否存在的情况进行区别操作...阅读全文
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
方法接受Instant数据类型的参数。此更改将影响需要实现新方法的任何自定义只读交互式查询会话存储实现。KIP-622：添加currentSystemTimeMs和currentStreamTimeMs到ProcessorContext该ProcessorContext增加在3.0两个新的方法，currentSystemTimeMs和currentStreamTimeMs。新方法使用户能够分别查询缓存的系统时间和流时间，并且可以在生产和测试代码中以统一的方式使用它们。KIP-743：删除0.10.0-2.4Streams 内置指标版本配置的配置值3.0 中取消了对 Streams 中内置指标的旧指标结构的支持。KIP-743正在0.10.0-2.4从配置属性中删除该值...阅读全文
有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为，改善用户体验，将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上，并通过Hadoop进行分析、生成日常报告。 流处理：保存收集流数据，以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理，汇总，扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文
了答案。 从单机到分布式，是追求更快和更高的性能，但也带来了更多的不确定性。比如，不确定计算机何时异常，不确定磁盘何时损坏，不确定网络通信的延迟，也不确定消息是否被正常消费。这些不确定性构成了分布式应用的挑战，简而言之： 异构的机器与网络：稳定性问题普遍的节点故障：可靠性问题不可靠的网络：一致性问题 面对这些挑战，业界提出了诸多的分布式理论、协议，如CAP定理，BASE理论，一致性协议2PC/3PC/ZAB，来保证系统的正常运行。虽然问题貌似是有了解决方案，但是应用的复杂度升高了。应用除了需要实现业务需求，还要兼顾非业务需求，集成诸如服务发现、负载均衡、失效转移、动态扩容、数据分片、调用链路监控等分布式系统的核心功能，对应用有很强的侵入性，这就是以Spring Cloud为代表的微服务框架的...阅读全文
引入的新的仲裁控制器确保元数据在整个仲裁中可以被准确复制。活动控制器将元数据存储在事件源日志主题中，仲裁中的其他控制器对活动控制器创建的事件做出响应。事件日志定期进行快照，确保日志不会无限增长。与基于 ZooKeeper 的控制器不同，如果出现了问题，仲裁控制器不需要从 ZooKeeper 加载状态，因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口，缩短了系统最坏情况恢复时间。下图显示了使用新的仲裁控制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。新的 KRaft 共识算法和仲裁控制器使得 Kafka 集群可以扩展到数百万个分区，不仅提升了稳定性，让 Kafka 变得更容易监控、管理和支持，而且让整个系统可以有一个单一的安全模型，使...阅读全文
使用的东西。密集字段将使用与以前相同的空间量，但稀疏字段将显着减小。这不仅可以减少磁盘空间使用量，还可以减少合并时间并提高查询吞吐量，因为可以更好地利用文件系统缓存。 完整更新内容请点此查阅...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
source /etc/profile Hadoop文件配置 配置文件都在etc/hadoop/文件夹下 1. hadoop-env.sh # jdk环境变量 （因为要远程调用 ${java_home}找不到变量） export JAVA_HOME=/usr/lib/jvm/jdk 2. workers # 添加所有slave机器的hostname slave1 slave2 slave3 3. core-site.xml