社交巨人Facebook使用Linux和Btrfs的姿势

Mason：因为在主线内核上我们无法做自己想做的事——我们不得不fork一个自己的版本，以便微调、修改和允许在我们特有使用情况下打补丁到这个内核里。我们的目标是，在人力可控的范围内将fork版做到最小。在我们把内核从4.0升级到4.6的过程中（我们现在还没完成），当我们只用一个补丁就能够获得一个相当可观的生产工作负载性能提升时，我打心里为此感到高兴。我们打过补丁的4.0版本的内核拥有和未修改的普通4.6版本的内核相同的性能。这也是我们团队的长期目标：紧随主线内核的步伐，以便我们能从一个内核版本快速过渡到另一个版本。 Linux.com：我见过太多跑在旧内核上的Linux机器，然而您的目标却是尽可能使用新版本的内核。这样做有什么好处？ Chris Mason：对一个工程师团队来说，最大的好处就是利于我...阅读全文

Golang Context 探究

{ p.children = make(map[canceler]struct{}) } // 与父 context 关联 p.children[child] = struct{}{} } p.mu.Unlock() } else { // 如果没有找到可取消的父 context，新启动一个协程监控父节点或子节点取消信号 atomic.AddInt32(&goroutines, +1) go func() { select { case <-parent.Done(): child.cancel(false, parent.Err()) case <-child.Done(): } }() } context.propagateCancel 的作用是把子 context 和父 context 关联起来，保证在...阅读全文

Docker 17.06 社区版发布

时一次的频次来安排证书轮换。有了Docker CE 17.06，添加了立即强制证书轮换的一次性操作： docker swarm ca --rotate Swarm Mode事件 docker events可以用来从Docker中获取实时的信息。在编写自动化和监控应用时很有用。但是直到Dcoker CE 17.06，都不支持swarm mode的事件。现在docker events将会返回服务、节点、网络和和secret的信息。 专用的数据路线 docker init中添加了新的--datapath-addr标签，可以把swarm mode的管理任务和应用传递的数据隔离开来。这能把集群从IO贪婪的应用中拯救出来。如你用这种方式初始化集群： docker swarm init...阅读全文

基于thanos搭建分布式prometheus

： thanos receive组件需要部署N个进程组成集群，prometheus可以remote write写入数据到任意receive节点，收到写入请求的receive节点根据metrics label做哈希后计算出负责存储该部分数据的receive节点，并将数据转发过去； 同时，receive可以配置replica数量，这样的话receive会根据哈希结果将数据复制给多个receive做冗余，应该说是非常简单粗暴的复制方案吧，因为监控场景没那么严谨所以基本可用即可，查询去重和归拢则全部依靠querier组件反向查询所有Receive组件搞定。 我们的选择 让prometheus直接配置remote write的方式看起来更好一些，我们只需要在启动一套thanos receive集群，然后让...阅读全文

Linux系统诊断-内存基础

: 表示禁止使用swap 60: 默认 100: 疯狂使用swap 2. 操作方法 # sysctl vm.swappiness=VALUE # sysctl vm.swappiness=20 或者 # echo VALUE > /proc/sys/vm/swappiness # echo 30 > /proc/sys/vm/swappiness通过在线增加swap分区大小，临时控制内存泄露，内存不够用等异常。1. 需要root用户 2. 创建存储文件 # dd if=/dev/zero of=/home/swap2G bs=1024 count=2M 3. 安全设置 # chown root:root /home/swap2G # chmod 0600 /home/swap2G 4. 创建...阅读全文

利用 NAT VPS 进行流量中转

port 端口号如需只允许 UDP 入站：1sudo ufw allow proto udp from 中转机地址 to any port 端口号以上命令中，中转机地址 为 NAT VPS 的公网 IP 地址。其他系统、其他防火墙控制软件的操作与之类似，放行来自 NAT VPS 的 IP 的指定端口号即可。 一些大陆 NAT VPS 商注：本小节包含的链接含有 aff 值。CloudIPLC：热门稳定，价格合理，需要及时关注补货情况碳云：价格较低，年付套餐手慢则无AkkoCloud：二次元风格的网站，产品同样抢手 ReferencesHow to open and close ports on RHEL 8 / CentOS 8 LinuxPort ForwardingNAT 主机的正确食用方法通...阅读全文

Kubernetes 部署 Nacos 1.4 集群 · 小豆丁

性： 服务发现： 支持 DNS 与 RPC 服务发现，也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。 服务健康监测： Nacos 提供对服务的实时的健康检查，阻止向不健康的主机或服务实例发送请求。 动态配置服务： Nacos 提供配置统一管理功能，能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。 动态 DNS 服务： Nacos 支持动态 DNS 服务权重路由，能够让我们很容易地实现中间层负载均衡、更灵活的路由策略、流量控制以及数据中心内网的简单 DNS 解析服务。 服务及其元数据管理： Nacos 支持从微服务平台建设的视角管理数据中心的所有服务及元数据，包括管理服务的描述、生命周期、服务的静...阅读全文

成功运作一个开源项目的15个要点

少。 2、透明 这一点很容易理解：我们要使得社区可以观察和了解你正在做的事情：使用易于查找的可公开访问的源代码存储库，使用面向公众的问题跟踪软件，在社区可以找到的地方公布发布计划，以及在公共论坛捕获会议记录(例如归档邮件列表)。 3、开放 对于很多开源项目来说，“透明度”和“开放性”意味着同一件事，但其实这两个术语的含义截然不同。开放不仅仅指的是“一目了然”(这与透明本质上是一样的)。对于许多人来说，开源的“开放”意味着开放新思想，或开放参与。参与开源项目的规则对于每个人应该是一样的(“公平的竞争环境”)：仅仅接受几个补丁是不够的，你必须对新的思路点子开放。总之，你必须允许别人参与你的项目，放弃对项目的绝对控制。 4、保持“公平的竞争环境” 这并不一定意味着你必须让任何人加入项目，而是要确保...阅读全文

Intel 为啥要给 ARM 代工

的就是台积电。 一直以来，Intel 在半导体制程工艺上都具有较大优势。这也为 Intel 在 PC 市场与 AMD 的竞争中带来基础。在吃够了奔四的亏以后，Intel 洗心革面在当年设计极为出色的 P6 架构（比如奔 III 的图拉丁核心）基础上衍生出了迅驰以及酷睿等成功产品，不仅在 CPU 性能上压倒性超越 AMD，并且逐渐整合了北桥，南桥，集成显示核心等。 这个过程中，一系列第三方接口芯片商，显示核心商彻底失去了市场，一台最简化的电脑可以只剩下 Intel 的 CPU+集成电源管理芯片（如 AXP 系列）+无线芯片+RAM+存储（SSD/eMMC）+音频/触摸/显示控制等少数几块芯片。 经过这一番商业大战之后，Intel 独霸电脑芯片后，但也导致一个结果，IC 领域经历过混战幸存到现在...阅读全文

Gitlab CI 配置文件 .gitlab

types 已废除，将会在10.0中移除。用stages替代。 与stages同义 variables GitLab Runner V0.5.0. 开始引入 GItLab CI 允许在.gitlab-ci.yml文件中添加变量，并在job环境中起作用。因为这些配置是存储在git仓库中，所以最好是存储项目的非敏感配置，例如： variables: DATABASE_URL:"postgres://postgres@postgres/my_database" 这些变量可以被后续的命令和脚本使用。服务容器也可以使用YAML中定义的变量，因此我们可以很好的调控服务容器。变量也可以定义成job level。 除了用户自定义的变量外，Runner也可以定义它自己的变量...阅读全文

三个技巧 大幅减少 Docker 镜像体积

因为如果攻击者利用你的应用程序获得对容器的访问权限将无法像访问 shell 那样造成太多破坏。换句话说，更少的二进制文件意味着更小的体积和更高的安全性，不过这是以痛苦的调试为代价的。 或许你不应在生产环境中 attach 和调试容器，而应该使用日志和监控。 但如果你确实需要调试，又想保持小体积该怎么办？ 3. 小体积的 Alpine 基础镜像 你可以使用 Alpine 基础镜像替换 distroless 基础镜像。 Alpine Linux 是： 一个基于 musl libc 和 busybox 的面向安全的轻量级 Linux 发行版。 换句话说，它是一个体积更小也更安全的 Linux 发行版。不过你不应该理所当然地认为他们声称的就一定是事实，让我们来看看它的镜像是否更小。 先修改...阅读全文

译：零信任对 Kubernetes 意味着什么

Foundation 毕业的服务网格项目，它提供了一个以简单性为目标和重点的实现，直接从 Kubernetes ServiceAccounts 提取工作负载标识来达到“零配置”，默认开启双向 TLS。同样，Linkerd 的基于 Rust 的微代理提供了一个极简的零信任实现。当然，仅仅在集群中添加一个服务网格并不是万能的。安装后，必须完成定义、更新和评估授权策略的工作。集群运维人员必须小心确保所有新创建的 pod 都与它们的 sidecar 组件配对。当然，服务网格本身必须像集群上的任何软件一样进行维护、监控和迭代。然而，不管是不是灵丹妙药，服务网格确实提供了从集群中默认的未加密、未经身份验证的流量转变为具有强大工作负载身份和丰富授权系统的默认加密、经过身份验证的流量——这是朝着零信任迈出的一大步。总结零信任...阅读全文

Kafka生产问题总结以及性能优化

的结果觉得有问题，可能是由于程序bug导致的计算错误，当程序bug修复后，这时可能需要对之前已消费的消息重新消费，可以指定从多久之前的消息回溯消费，这种可以用consumer的offsetsForTimes、seek等方法指定从某个offset偏移的消息开始消费，参见上节课的内容。 2.1.7 分区数越多吞吐量越高吗 可以用kafka压测工具自己测试分区数不同，各种情况下的吞吐量 # 往test里发送一百万消息，每条设置1KB # throughput 用来进行限流控制，当设定的值小于 0 时不限流，当设定的值大于 0 时，当发送的吞吐量大于该值时就会被阻塞一段时间 throughput =-1：不限流 bin/kafka-producer-perf-test.sh --topic test...阅读全文

HTML 5.1 — 14 项新增特性及使用案例

本元素上报告检查出来的拼写和语法错误，即使用户从来没将输入聚焦在该元素上。

Name: <input spellcheck=" false" id="textbox">