档: monotonic time 位处理操作 新增加了math/bits包， 提供了很多位运算的函数。 Test Helper函数 新加｀(T).Helper和(B).Helper m｀， 用来标记调用的函数是一个测试辅助函数，当输出文件名和行数的时候，这个函数回呗忽略。 标准库的微小改动 标准库也有一些小的功能的加入和提升， 比如image、net、runtime、sync等。 并行编译 支持并行地编译函数，并且在Go 1.9中势默认设置。如果不想并行编译，设置GO19CONCURRENTCOMPILATION为0。 ./... 会忽略vendor下的包 这一条很有用，以后你在Makefile中可以直接使用./...,而不是曲折地将vendor文件夹排除。 如果你想使用vendor下的包...阅读全文
语化的标识符或添加二进制整型字面量”等轻微改变，因为“这些改变很容易实现”。 Cox谈到了重大变化，例如“对错误处理的额外支持，或引入不可变或只读值类型，添加某种形式的泛型或其他尚未被建议的重要主题。” 从Google的角度来看，Go 2的主要目标是“解决Go在可扩展性方面的重要不足”。Cox提到了生产期的扩展性（云环境中运行并发应用）和开发期的扩展性（大量的开发人员在一个较大的代码库上并行协作）。 大部分主题是介绍和解释用于修改Go的五个步骤： 有关此过程的更多详细信息，我们建议您阅读博客文章Toward Go 2。有兴趣为Go 2推荐新功能的用户请参考GitHub上的关于该语言的Wiki。 查看英文原文：Google Discusses Go 2 感谢张卫滨对本文的审校。...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
个包含最新版本的开发版本，且仅支持TLS1.2。这种非主流操作真的很少见——目前只有Mozilla的“Modern”配置设置才推荐使用TLS 1.2。 保持OpenSSL库的长期Debian开发人员Kurt Roeckx写道：“我希望Buster发布对TLS 1.2的支持将足够高，不需要再次启用[TLS 1.0和1.1]。 ” Buster是Debian 10的代号，它是Linux发行版的下一个主要版本。没有宣布发布日期，但距离上一个版本的发布已经超过一年了。 对于只想使用旧版本的人，Roeckx并不留情，他说：“强烈建议你添加对TLS1.2的支持，或让对方添加支持。” 或许等到Buster发布的那天，仅支持TLS1.2不再是骚操作或大胆的配置。但熟悉SSL / TLS和Web PKI的人士...阅读全文
Docker 镜像，Alpine 只有仅仅 5 MB 大小，并且拥有很友好的包管理机制。 Docker 官方推荐使用 Alpine 替代 Ubuntu 做为容器的基础镜像。这样会带来众多好处，镜像下载速度更快，镜像安全性提升，主机之间的切换更方便，占用更少磁盘空间等。 下表是官方容器镜像的大小对比： REPOSITORY TAG IMAGE ID VIRTUAL SIZE alpine latest 4e38e38c8ce0 4.799 MB debian latest 4d6ce913b130 84.98 MB ubuntu latest b39b81afc8ca 188.3 MB centos latest 8efe422e6104 210 MB 获取并使用官方镜像 由于镜像很小，下载时间往往很短...阅读全文
依靠 Checkpoint 机制，进行二阶段提交，从而保证数据的 Exactly-once 一致性。 具体可以这样说：在 Checkpoint 过程中，每个算子只会进行准备提交的操作。比如数据会提交到外部的临时存储目录下，所有任务都完成这次 Checkpoint 后会收到一个信号，之后才会执行正式的 commit，把所有分布式的临时文件一次性以事务的方式提交到外部系统。 这种算法在当前有限流的情况下，作业结束后并不能保证有 Checkpoint，那么最后一部分数据如何提交？ 在 1.14 中，这个问题得到了解决。Task 处理完所有数据之后，必须等待 Checkpoint 完成后才可以正式的退出，这是流批一体方面针对有限流任务结束的一些改进。 三、checkpoint 机制 1. 现有...阅读全文
针对性地使用Btrfs的一些特性来提高我们手头工作的性能。我们比较关注在系统任务管理、快照之类的事情上。 Linux.com：我们都知道Facebook是Linux的重度用户。在Facebook庞大的基础设施里，哪些地方用到了Linux？ Chris Mason：简单地说，Facebook所有的基础设施都使用了Linux。围绕分布式操作系统我们利用了Btrfs的很多特性，比如分布式任务管理、利用快照功能快速更新以及哈希校验功能，等等。 我们在相当数量的机器上运行着Gluster——既支持XFS也支持Btrfs，我们的目标就是做好存储这件事。在Gluster上喜欢用Btrfs的其中一个原因是，数据循环冗余校验（cyclic redundancy checks）和元数据循环冗余校验使我们能够检测...阅读全文
Observium是一个免费的开源网络管理和监控工具，可用于监控所有的网络设备。 它是用PHP编写的，使用SNMP从连接的设备收集数据并使用Web界面监视它们。 Observium支持大量的网络硬件和操作系统，包括Linux，Windows，FreeBSD，思科，戴尔，NetApp等等。 Observium提供了一个功能强大，简单易用的界面来监视网络的健康和状态。 在本教程中，我们将解释如何在Debian 9服务器上安装和配置Observium。配置需求： 一个新的Debian 9服务器安装在您的系统上。 在您的服务器上设置一个根密码。 入门 首先运行以下命令，将系统更新到最新的稳定版本： apt-get update -y apt-get upgrade -y 系统更新后，重新启动系统以...阅读全文
三个编译注释，你可以使用它们来给编译器发送指令。这些注释会在稍后再做更详细的介绍。 Java注释可以在编译时(build-time)时使用，当你编译你的工程时。编译过程包括生成源代码，编译资源文件，生成XML文件(如：部署表述文件)，以及将编译好的代码或文件打包成一个jar文件等。编译过程通常是由诸如Apache Ant或Apache Maven之类的编译工具自动完成的。编译工具会浏览你代码中的特定注释，并基于这些注释生成源代码或其他文件。 通常情况下，Java注释在代码编译完成后就变得不可见了。但是存在这种可能，你可以定义自己的注释，并使它们在运行时仍然可见。之后可以通过反射机制来访问这些注释来影响你的程序。 注释的基本知识 注释的最简单形式如下： @Entity 字符@告诉编译器这是一个...阅读全文
文章目录 1、PodPreset 介绍2、环境、软件准备3、K8s 启用 PodPreset 配置4、PodPreset 注入信息示例4.1、匹配指定 Pod 加载配置4.2、匹配某个 Namespace 下所有 Pod 加载配置 1、PodPreset 介绍 PodPreset 是一种 K8s API 资源，用于在创建 Pod 时注入其他运行时需要的信息，这些信息包括 secrets、volume mounts、environment variables 等，我们可以使用标签选择器来指定某个或某些 Pod，来将 PodPreset 预设信息应用上去。使用 PodPreset 的好处就是我们可以将一些常用 Pod 预设信息配置为模板，这样就不需要显式为每个 Pod 提供所有信息，简化...阅读全文
火墙等），OSSEC作为强大的日志分析引擎是一个不错的选择。后来的发行版增加了用于基于debian的系统的身份验证日志文件，以及用于分析（3.6.0）的非标准Sophos UTM时间戳，用于缩进日志的多行日志收集（3.5.0）以及对多行的其他升级。记录。2. Tripwire顾名思义，这是Tripwire开发的基于主机的免费开放源代码检测系统。该公司也提供商业解决方案，但我们将专注于开源HIDS。开源的Tripwire软件包仅在几乎所有Linux发行版上运行。它以确保数据完整性的强大功能而闻名，它可以帮助系统管理员检测对系统文件的更改，并在文件损坏或被篡改时通知他们。要将其安装在Linux主机上，只需使用apt-get或yum实用程序。在安装过程中，系统将要求您添加必需的密码。最好选择一个...阅读全文
本教程使用的是 Kubernetes 1.14版，这是本文发布时的官方支持版本。 有关最新版本的最新信息，请参阅官方Kubernetes文档中的当前发行说明 。 Kubeadm自动安装和配置Kubernetes组件，例如API服务器，Controller Manager和Kube DNS。 但是，它不会创建用户或处理操作系统级依赖关系及其配置的安装。 对于这些初步任务，可以使用Ansible或SaltStack等配置管理工具。使用这些工具可以更加简单地创建其他集群或重新创建现有集群，并且不易出错。 在本指南中，您将使用Ansible和Kubeadm从头开始设置Kubernetes集群，然后将容器化的Nginx应用程序部署到它。 目标 您的群集将包含以下物理资源： 一个主节点 主节点...阅读全文
。 < ahref="#" target="_blank" rel="noopener"> The link won't make trouble anymore 13. 灵活处理图片标题 The Headline of todays news
阅读全文
，关注 Dragonwell JDK 的开发者应该知道，Dragonwell 与 OpenJDK 上游相比提供了一些专有特性，比如 JFR，JwarmUp 等。作为全球最大的 Java 用户之一，阿里巴巴内部拥有数量非常庞大的 Java 开发人员和服务器，这也是其业务发展使然。上述新加入的特性在阿里巴巴内部得到了广泛应用，为阿里巴巴 Java 业务的稳定运行立下了汗马功劳，也可以说是 Dragonwell JDK 的独门武器。在本次的 GA 版本中，阿里巴巴也针对 JFR 特性做了一些 BUG 修复和兼容性上的改进，具体详情可以访问 Github 上的Release Notes。 三大重要特性 Alibaba Dragonwell 是一款免费的 OpenJDK 发行版，其提供长期支持，包括性能...阅读全文
婆/女朋友的电脑！！！ 7.您对自己的孩子在开源或者计算机领域有什么期许？或者他有没有因为你对Linux的热爱影响他去关注、喜欢Linux？ 答：对于孩子来说，顺其自然吧，不会刻意去引导他。 8.作为一名老师更是一名家长，您觉得“Linux要从孩子抓起”有必要吗，特别是在中国? 答：这些年喊的口号不少了，有用么？现在的教育制度问题，作为教育工作者更加无奈，其他教育方面的问题更多，计算机教育、Linux教育。。。不乐观！ 9.您觉得中国有必要在教育行业推广Linux吗? 答：答案是肯定的，只是限于体制、师资、观念等方面原因，很有可能沦为形象工程或某些人赢利的工具而已。但，该做的还要去做，不去做，永远不会有改观。 10.小编知道您有一个自己的网站（http://phpcj.org/），上面更新的...阅读全文
无论你是刚接触Ubuntu，还是最近从微软Windows改用Ubuntu，都会在下文中找到适合你的一款软件。并非所有的应用程序对每个人都有用，欢迎分享你认为最出色的Linux应用程序。 有读者常常问我们必不可少的Ubuntu应用程序有哪些，本文我将逐一介绍21款对Ubuntu来说必不可少的应用程序，而不是仅仅在留言区回复。 无论你是刚接触Ubuntu，还是最近从微软Windows改用Ubuntu，都会在下文中找到适合你的一款软件。并非所有的应用程序对每个人都有用，欢迎分享你认为最出色的Linux应用程序。 我们不会介绍默认情况下随Ubuntu交付的任何软件，比如火狐、LibreOffice、Thunderbird和Transmission等，可能的话，重点介绍不需要为它添加PPA的软件...阅读全文
Node.js 早诞生将近20年，所以在文档，API 和代码库等在线资源方面更为丰富。所以很有可能其他人也尝试了你想要用代码完成的事情并从中获得了帮助。另一方面，Node.js 虽然已经得到了开发者和组织的广泛关注，但是它支持开发者开发的资源缺相当少。 8.学习曲线： 编写 Node.js 代码对于新手甚至是专业的 JavaScript 开发人员来说都不是件容易的事情，因为他们需要在入门之前理解一些复杂的概念，比如 web worker 和回调函数。相反，PHP是一门非常友好的编程语言对于开发 Web 应用程序的新手来说。 Node.js 和 PHP 战斗的结果是相辅相成的，因为这两种技术都有各自的优点和缺点。这大多是相似的情况在比较或选择用于 Web，桌面和移动开发的其他技术时。Node.js 有前途...阅读全文
Harbor 1.9 发布了，此版本新功能众多，包括 tag 保留和配额、可与 CI/CD 工具集成的 Webhook 通知、数据复制、Syslog 集成以及 CVE 例外策略等安全功能。 Webhook 如果您是项目管理员，可以通过 Webhook 的通知机制，将 Harbor 的项目与您技术栈的其余部分连接在一起。简言之，如果您配置了 Webhook，Harbor 会就把该项目中发生的某些事件（包括推送、拉取、删除镜像和 Helm Charts、镜像扫描及 CVEanqu 漏洞发现）向 Webhook 端点发出通知。通过这些事件，您可以将 Harbor 与其他系统集成在一起，以简化持续集成和开发过程。理想情况下，获得 Webhook 的端点应具有一个操作侦听器，用于解释 JSON 格式...阅读全文
embed.FS func main() { print(s) print(string(b)) data, _ := f.ReadFile("hello.txt") print(string(data)) } 输出结果： 吃煎鱼 吃煎鱼 吃煎鱼 我们同时在一个代码文件中进行了多个 embed 的注解声明。 并且针对 string、slice、byte、fs 等多种类型进行了打包，也不需要过多的处理，非常便利。 拓展用法 除去基本用法完，embed 本身在指令上也支持多种变形： //go:embed hello1.txt hello2.txt var f embed.FS func main() { data1, _ := f.ReadFile("hello1.txt") fmt.Println...阅读全文
励 Debian 做出改变，继而改进开发者参与维护的体验。Rails 核心成员纷纷宣布离职继不久之前 Rust 审核团队集体离职事件，近日，又有人发现不少 Rails 核心成员纷纷宣布离职。这还要溯源到去年 4 月，Basecamp 创始人以及 Rails 创建者不允许员工在内部谈论种族等政治话题，这引起了员工很多不满，很多人觉得自己被限制了自由言论。当时，很多核心员工选择离职来表示抗议。随着事情不断的发酵，DHH（Rails 创建者）关闭了自己推特的评论功能。如今 DHH 表示他无缘参加今年的 RailsConf 主题演讲，举办方给出的理由是因为去年他大部分时间都不在线。于是 DHH 就吐槽认为这是无稽之谈，不仅发文列举了他去年为Rails的贡献，还表示这是对政治和形态意识差异的报复。在这...阅读全文
Cortex-M33 CPU 开始使用。这将使得 Arm 客户能够向基于 Cortex-M 的 IoT CPU 添加自定义指令，以针对特定市场量身定制芯片。 Dirvin 说到：“例如，有些数学算法是重复的。如果我们要使用一块硅存储片来维护它，那么拥有一条指令将会非常好。但这与 Arm 想要的不符。不过现在使用自定义指令后，我们的合作伙伴将能够针对该市场专门对芯片进行优化。” 为此，许多行业从业者和分析家将 Arm 的这些声明视为对 RISC-V 日益严峻挑战的回应。由于 RISC-V 具有相当吸引人的优势 —— 高度的自由性、轻量级和可扩展性，它已引起 NVIDIA 和 Qualcomm 等技术巨头的广泛关注。 Dirvin 则强调，即使没有 RISC-V 的兴起，Arm 也会推出其政策变更。“创新...阅读全文
经筹集了大量资金，它们将面临获得这些投资回报的压力。”Wrabetz提到。她认为这种整合在DevOps工具市场上是非常需要的。 进一步容器化 2016年，我们见证了大规模容器化，但是Morpheus数据公司技术运营总监兼系统架构师Greg Willis认为，由于工具变得更加稳定，且容器生态在编排工具的作用下更加巩固，我们将会见到进一步容器化。他说，“正如虚拟化技术让企业适应从物理机向虚拟机的转变，我们将会看见企业更多的将工作负载运行在诸如AWS ECS、Kubernetes、DCOS、Docker数据中心等平台上。” 统一开发、安全和运维 如果说2016年是运维安全的崛起，尤其是Docker对安全的更新，那么2017年我们将见到开发、安全和运维的统一。CA Technologies公司...阅读全文
咬伤。 7、Linux 完全统治超级计算机。截至2018年，世界上最快的 500 个超级计算机 100％ 运行 Linux 。 8、Linux 开发社区非常活跃。据统计，在过去 15 个月里，Linux Kernel 以平均每小时 7.8 个补丁的速度被合并。 9、 Linux 早期以 MINIX 操作系统为原型，导致 Linus 采用类似于 Minix 的文件系统布局来实现他的新兴项目。之后由于被证明效率低下，Linus 采用“扩展文件系统”（ext）取代它，至今仍在使用。 10、Linux 1.0 于1994年3月14日发布，共包含 176,250 行代码。2.0 版本紧随其后，于1996年发布。 11、Linux 正运行在从智能手机到服务器，再到潜艇和太空火箭等大量事物上。 12、乔布...阅读全文
不久前，我们写过一篇关于 teleconsole 的介绍，该工具可用于快速分享终端给任何人（任何你信任的人）。今天我们要聊一聊另一款类似的应用，名叫 tmate。 tmate 有什么用？它可以让你在需要帮助时向你的朋友们求助。 什么是 tmate？ tmate 的意思是 teammates，它是 tmux 的一个分支，并且使用相同的配置信息（例如快捷键配置，配色方案等）。它是一个终端多路复用器，同时具有即时分享终端的能力。它允许在单个屏幕中创建并操控多个终端，同时这些终端还能与其他同事分享。 你可以分离会话，让作业在后台运行，然后在想要查看状态时重新连接会话。tmate 提供了一个即时配对的方案，让你可以与一个或多个队友共享一个终端。 在屏幕的地步有一个状态栏，显示了当前会话的一些诸如...阅读全文
/proc/sys/net/core/rmem_max 131071 131071：tcp 或 udp 接收缓冲区最大可设置值的一半。 也就是说调用 setsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 时rcv_size 如果超过 131071，那么 getsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 去到的值就等于 131071 * 2 = 262142 [root@ www.linuxidc.com]# cat /proc/sys/net/core/wmem_max 131071 131071：tcp 或 udp 发送缓冲区最大可设置值得一半。 跟上面同一个道理 3...阅读全文
买单。用户只需要为实际使用的资源付费，这也是用户选择云主机可以大幅降低成本的一个主要因素。7.用户可以选择安装操作系统吗？当然可以。云主机与传统物理服务器在产品使用上没有明显区别，用户可以根据自己的需求灵活选择或更换操作系统。8.如果你想购买这项服务需要多长时间？扩张需要多长时间？注册用户->在线支付->购买云服务器，实时打开。打开后，登录用户管理区→云服务器管理→管理→预装操作系统。可以选择Windows 2008、Windows 2012、Cent OS 6.5等操作系统。系统安装需要10~25分钟。系统安装完成后，您可以通过远程连接执行其他应用程序操作。9.租用云服务器需要交押金吗？与传统的物理服务器租赁不同，云服务器租赁用户无需支付押金即可享受服务。10.如何查看租用主机的配置？由于...阅读全文
Surý 是 Debian PHP 软件源的官方维护者之一，所以说稳定性和安全性基本上不是问题。软件源安装的 PHP 默认以 Unix Socket 的状态运行在 /run/php/php7.2-fpm.sock，比使用 TCP 以 localhost:9000 的方式性能更好。 由于 PHP7.2 是新出的版本势必有不少的兼容性问题，我们建议等待开发者通知兼容PHP-7.2后，再进行升级，一些 PECL 扩展可能也不会及时适配该最新版。建议在你的网站业务低峰时段更新，并提前做好备份，以及回退的准备。Debian.cn 使用的是 WordPress 4.9 ，已支持 PHP7.2。 添加软件源 添加 GPG wget -O /etc/apt/trusted.gpg.d/php.gpg https...阅读全文
Code name debian archive里真正的distribution目录用的是code name，比如sarge、etch，其他名字的distribution目录如stable/testing/unstable、debian 3.1等都是指向code name目录的符号连结。用code name的好处是可以一致地指定一个distribution，而不管该distribution release的状态，譬如当前处于testing的etch distribtuion在release后仍然可以用etch来引用它。 sid是一个特殊的code name，它的distribution永远处于unstable状态，永远不会release。 Release testing指向下一个要...阅读全文
Prometheus 客户端公开了在暴露服务指标时能够运用的四种指标类型。查看 Prometheus 的文档 以获得关于各种指标类型的深入信息。 Counter（计数器 一种累加的 metric，典型的应用如：请求的个数，结束的任务数，出现的错误数等。随着客户端不断请求，数值越来越大。例如api_http_requests_total{method="POST", handler="/messages"} Gauge（计量器） 一种常规的 metric，典型的应用如：温度，运行的 goroutines 的个数。返回的数值会上下波动。 例如 go_goroutines{instance="172.17.0.2", job="Prometheus"} Histogram（分布图） 可以理解为柱状图，典型的应用如...阅读全文
三字段，指示包的「版本类型」，姑且称为「仓库」。 打开某源，进入「dists」子目录可见该源中有哪些仓库，即其下诸子目录。 命名形式为「系统发行版名-仓库名」，如 Debian 的「jessie-backports」「stretch-updates」，Ubuntu 的「vivid-updates」「wily-proposed」。无仓库名的即为主仓库。 Debian 的 stable、testing 为链接，指向具体系统发行版，会随时间而变。比如，当前 stable 为 jessie，所以 stable-backports 与 jessie-backports 等效。但本人不建义使用 stable、testing，因为下一个 stable 发布后，你的源便自动指向了一个新版本，然而你并未阅读新...阅读全文
Kubernetes 1.7已经发布，该版本聚焦于安全、存储和扩展性等交付特性，其中包括Network Policy API、StatefulSets自动升级策略以及可扩展的API聚合层。Kubernetes的上一个发布版1.6版侧重于解决规模化和自动化上的问题，显然最新的1.7发布版力图为Kubernetes在企业组织中的进一步采用夯实基础。需注意的是，虽然1.7版的核心集群编排功能是以稳定版提供，但是其中给出的一些头条发布特性在文档中被标为Alpha版或Beta版。 新提供的安全特性包括：Network Policy API。该API当前已提升到稳定版，在实现为网络插件时，用户可以设置并强制使用规则，指定可相互通信的Pod（类似于在用的网络/云ACL）；节点授权器（Node...阅读全文
Google 开发的这个容器管理系统很快成为开源历史上最成功的案例之一。Kubernetes 是一个在过去几年中快速流行起来的开源容器管理平台。它被众多大企业用于关键任务，已成为开源方面最成功的案例之一。这是怎么发生的？该如何解释 Kubernetes 的广泛流行呢？ Kubernetes 的背景：起源于 Google 的 Borg 系统 随着计算世界变得更加分布式、更加基于网络、以及更多的云计算，我们看到了单个大型的应用慢慢地转化为多个敏捷微服务。这些微服务能让用户单独缩放应用程序的关键功能，以处理数百万客户。除此之外，我们还看到像 Docker 这样的容器等技术出现在企业中，为用户快速构建这些微服务创造了一致的、可移植的、便捷的方式。 随着 Docker 继续蓬勃发展，管理这些微服务器...阅读全文
可以及时地发现问题并解决问题。 开源除了源代码开放外，开发的过程也是透明的，因此，你可以检查供应商是否遵循 ISO27001，云安全原则等基准行业标准开发流程。 4、更多的用户导向 开源能使顾客和用户直接看到并参与到产品开发中来，这比闭源软件开发更能了解客户的需求。供应商可能只关注产品的某一特定方面，而一个社区能致力于开发出更多的功能，能创造出对用户更有价值的产品。 5、更好的支持 专有供应商是在产品遇到问题时，唯一可以给你提供帮助的一方。如果他们无法提供你所需要的服务，或者需要对额外的服务收费，那事情就麻烦了。而软件一旦开源，如果供应商无法提供相应的服务或支持，可以有其他人来填补空白，这就是自由市场的优势，能保证你得到最好的服务。 6、更有利的许可 典型的软件许可充斥这一些不公平条例，它通...阅读全文
合用来做大数据分析的底层存储服务，并不适合用来做网盘等应用，因为修改不方便，延迟大，网络开销大，成本太高。 4. HDFS 的命令行使用 如果没有配置 hadoop 的环境变量，则在 hadoop 的安装目录下的bin目录中执行以下命令，如已配置 hadoop 环境变量，则可在任意目录下执行 help 格式: hdfs dfs -help 操作命令 作用: 查看某一个操作命令的参数信息 ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 lsr 格式 : hdfs dfs -lsr URI 作用 : 在整个目录下递归执行ls, 与UNIX中的ls-R类似 mkdir 格式 ： hdfs dfs -mkdir [-p]
Docker基于mamespace、cgroups、chroot等技术来构建容器，不是一个系统调用就能搞定，容器是一个用户态的概念。本文中Docker软件工程师Michael Crosby深入探讨了Docker对namespace技术的应用。 相信你在很多地方都看到过“Docker基于mamespace、cgroups、chroot等技术来构建容器”的说法，但你有没有想过为何容器的构建需要这些技术？ 为什么不是一个简单的系统调用就可以搞定？原因在于Linux内核中并不存在“linux container”这个概念，容器是一个用户态的概念。 Docker软件工程师Michael Crosby将撰写一些列博客，深入到Docker运行的背后，探索在 docker run这段代码的背后发生了什么...阅读全文
什么是 Calico ？Calico 是一套开源的网络和网络安全方案，用于容器、虚拟机、宿主机之前的网络连接，可以用在kubernetes、OpenShift、DockerEE、OpenStrack等PaaS或IaaS平台上。Calico 组件概述Felix：calico的核心组件，运行在每个节点上。主要的功能有接口管理、路由规则、ACL规则和状态报告接口管理：Felix为内核编写一些接口信息，以便让内核能正确的处理主机endpoint的流量。特别是主机之间的ARP请求和处理ip转发。路由规则：Felix负责主机之间路由信息写到linux内核的FIB（Forwarding Information Base）转发信息库，保证数据包可以在主机之间相互转发。ACL规则：Felix负责将ACL策略...阅读全文
健康水平产生影响。 解决冲突 在代码评审中，如果发生了任何冲突，第一步应该是开发者和评审者基于本项目的 CL 指南达成共识。当达成共识非常困难时，开发者与评审者应该面对面地交流，而不只是通过审查中的评论来交流。如果开会讨论还解决不了，那么就要扩大会议了，我们可以通过与代码维护人员、工程经理等开发者的交流，达成最终的共识。 如果想要深入了解谷歌的这套代码审核规范，可查看该项目。地址如下： https://gitee.com/leonard/google-eng-practices...阅读全文
使用 Debian 安装程序，它提供了更多可以微调的选项，包括使用自动化的网络安装工具的功能。Debian 提供平滑的更新。保持操作系统最新十分容易，不论您是想升级到一个全新的发布版本，还是只想升级一个单独的软件包。Debian 是许多其他发行版的基础。许多非常受欢迎的 Linux 发行版，例如 Ubuntu、Knoppix、PureOS 以及 Tails，都基于 Debian。我们提供了所需的所有工具，使得每个人在有需要的时候都可以制作自己的软件包，以补充 Debian 档案库里没有的软件包。Debian 项目是一个社区。所有人都可以成为 Debian 社区的一员；您不必是一名开发者或系统管理员。Debian 有一个民主的治理架构。由于所有 Debian 项目的成员都享有平等的权利，所以...阅读全文
://get.k3s.io | sh - 等到命令完成后，一个单节点集群就已经运行起来了。让我们检查一下，在这个派上执行命令后，可以看到以下输出， kmaster$ sudo kubectl get nodes NAME STATUS ROLES AGE VERSION kmaster Ready master 2m13s v1.14.3-k3s.1 部署工作节点 主节点完成安装后，我们开始部署工作节点。在工作节点上安装 K3s 时，会用到 join token 连接令牌，它可以使用如下命令从主节点上获取到。获取到令牌 join token 后，先保存起来，便于后续使用， sudo cat /var/lib/rancher/k3s/server/node-token 我们把两个树莓派工作节点的主机名分别设置为...阅读全文
求包容方面所做的工作与其技术素养一样出名。 主流发行版 一些人可能反对Debian，因为发布速度很慢，连最新的软件包也常常不太先进。然而，如果你在安装一台服务器，关注的方面主要是稳定性，这种劣势反而是一种优势。此外，除非你坚持始终拥有最新的版本，否则大多数主要的免费软件足够成熟，必不可少的新功能特性现在已很少见。你常常可以等上几个月，如果你在虚拟机中运行其他发行版以满足好奇心，更是如此。 还是让数字为它说话吧！如今，三分之二的活跃Linux发行版基于Debian；这几年来，Distrowatch网站上页面浏览量四大发行版中三个是Debian及其最受欢迎的衍生版：Linux Mint和Ubuntu。从许多方面来看，Debian已成为其他上游来源的上游来源。 Debian也许是历史最悠久的发行版...阅读全文
合适的工具 无论虚拟机或容器类型如何，选择适合您需求的关键都在于研究每个选项的能力。在容器领域，Docker 提供了强大的企业解决方案。这就吸引了那些关注 Docker 容器的公司，因为公司知道如果出现任何问题，他们可以得到他们所需要的支持。Docker 是企业用户友好的选择，特别是在 Docker Swarms 中 。而将 Docker Swarms 与 Kubernetes 相比，Kubernetes 在高级环境中的设置要复杂得多。 回到虚拟机方面，我一直发现 Virtualbox 可以提供更好的面向桌面的虚拟机环境。而 VMware 在服务器方面做了各种各样的产品，VMware 拥有从存储到云服务器解决方案的各种虚拟机解决方案，还有其他选择（各种管理程序等）。但我认为...阅读全文
，Aptitude也很有用。实用的功能特性包括why命令和why-not命令，前者显示依赖某软件包的其他软件包，后者显示什么软件包与某个指定软件包冲突。此外，Resolver菜单列出了可能解决破损软件包的方法，从破坏性最小的那种方法开始。 6. apt-cache apt-cache搜索已安装软件包数据库，寻找信息。它能显示关于单个软件包、依赖项和冲突等方面的信息，以及其他众多信息。 一个特别有用的命令是apt-cache search，它可搜索数据库中的文本字符串。使用这个命令，你就能找到软件包的具体名称，那样可以安装它，还可以找到想要安装的相关软件包。在Debian中，它必不可少，所以默认情况下已安装。 5. dpkg-reconfigure dpkg-reconfigure可改变安装软件包的方法。比如...阅读全文
出现的原因，又是谁在何时报告了某个功能缺陷等等。 使用版本控制系统通常还意味着，就算你乱来一气把整个项目中的文件改的改删的删，你也照样可以轻松恢复到原先的样子。 但额外增加的工作量却微乎其微。 1.1.1集中化的版本控制系统，代表Svn 缺点： 1、依赖中央服务器。 如果宕机一小时，那么在这一小时内，谁都无法提交更新，也就无法协同工作。 2、如果中心数据库所在的磁盘发生损坏，又没有做恰当备份，将丢失所有数据——包括项目的整个变更历史，只剩下人们在各自机器上保留的单独快照。 3、整个项目的历史记录被保存在单一位置，就有丢失所有历史更新记录的风险 4、必须联网才能工作，如果在局域网还可以，带宽够大，速度够快，如果在互联网下，如果网速慢的话，效率就很低了。 1.1.2分布式版本控制系统，代表Git...阅读全文
费者和管理客户端KIP-630：Kafka Raft 快照我们在 3.0 中引入的一个主要功能是 KRaft 控制器和 KRaft 代理能够为名为 __cluster_metadata 的元数据主题分区生成、复制和加载快照。Kafka 集群使用此主题来存储和复制有关集群的元数据信息，如代理配置、主题分区分配、领导等。随着此状态的增长，Kafka Raft Snapshot 提供了一种有效的方式来存储、加载和复制此信息.KIP-746：修改 KRaft 元数据记录自第一版 Kafka Raft 控制器以来的经验和持续开发表明，需要修改一些元数据记录类型，当 Kafka 被配置为在没有 ZooKeeper (ZK) 的情况下运行时使用这些记录类型。KIP-730：KRaft 模式下的生产者 ID...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
MongoDB 是一个多租户系统，它会尽可能地占用内存，因此最好是安装在服务器上，最大限度地提供内存，即使是开发工作。在服务器上使用默认端口安装而不启用身份验证是在自找麻烦，尤其是可以在查询中运行任意 JavaScript 时（例如把$where 作为注入攻击的载体）。 身份验证方法有多种，但是用户 ID/密码凭证最容易安装和管理。当你考虑 基于 LDAP 的身份验证 时，可以采用那个方法。在我们谈论安全时，MongoDB 必须保持最新，而且，在日志里查找未授权访问的迹象总是值得的。我不喜欢使用默认端口。 忘记限制 MongoDB 的攻击面 MongoDB 的 安全检查清单 为降低网络渗透和数据泄露风险提供了很好的建议。我们很容易会认为，开发服务器不需要高等级的安全。不是这样的：安全对于所有...阅读全文
”、“梅花”等。从这一点上看，域名的独有性，似乎更好一些。 从商业的角度来看，域名因其独特性，可以把它当作一个企业的网上商标。不过，可以肯定地说，域名与商标没有绝对的联系。 在这个眼球经济时代，作为企业，最理想的状态，当然是希望它的实物商标与网上商标保持高度一致的，以使大众无论从哪个途径，都能将目光聚焦在它的身上，为此，企业们也付出了巨大的努力，比如商标之争比较有名的当属“加多宝”和“王老吉”，域名方面，作为米农，所听到见到的域名仲裁案例也不在少数。 由于域名和商标分属不同领域的不同系统，再加上时间差的原因，一般企业想要达到理想状态，是有难度的。比如说，自已注册的商标，其对应的域名不一定是未注册状态，这个时候，域名权与商标权，甚至商号权、网站名称权等就形成了冲突。除了收购外，另外一个途径就是仲裁...阅读全文
印机，数字机顶盒，数字电视，DSL，电缆调制解调器和个人数字助手等多种产品。到1990年代后期，MIPS已成为嵌入式系统领域的强者。根据MIPS科技公司的统计，1997年以MIPS架构为基础的CPU出货量为4800万，占RISC CPU总市场份额的49％。MIPS 架构如此成功，于是，在1998年SGI把MIPS科技公司拆分成为一个子公司（SGI 在1992年直接收购了MIPS）。DEC（Digital Equipment Corporation）也是受这股RISC风潮影响下的企业之一，DEC看到了许多RISC架构（例如MIPS和SPARC）的兴起，他们认为竞争激烈，最终将拯救在VAX上的败退。于是，在1982年到1985年间，DEC将RISC划分为几个部分来分开研究，1985年，DEC负责...阅读全文
“ 以 docker 为代表，轻量、便携的 container 使得打包和发布应用非常容易。系列文章容器原理主要分析 container 用到的核心技术，主要包括 Linux namespace，cgroups，overlayfs，看完这些内容，你将可以手动创建一个和 container 类似的环境。 cgroup（control group）是一个内核特性，用于限制、统计、隔离一组进程的资源（CPU、内存、磁盘、网络等），首字母不要大写。 “ “cgroup” stands for “control group” and is never capitalized. 单数形式（cgroup）指所有特性，也可以作为“cgroup controllers”的修饰。 复数形式（cgroups）指...阅读全文
debian-cd 和 Debian Installer 团队合作开发 live-build-ng 。 Debian Live 是一个「官方的」 Debian 项目（也可以是狭义的「官方」），尽管它因为思路上的不同产生过争论。除此之外， vmdebootstrap 的维护者 Neil Willians 为脱离 Debian Live 项目提供了如下的解释: 为了更好的支持 live-build 的代替者, vmdebootstrap 肯定会被推广。为了能够用 live-build 解决目前存在的问题，这项工作会由 debian-cd 团队来负责。这些问题包括可靠性问题，以及不能很好的支持多种机器和 UEFI 等。 vmdebootstrap 也存在着这些问题，我们用来自于对 live-boot 和...阅读全文
