asset。一些生成器基于其他生成器的输出，而不是SoT，组成一个pipeline。比如，一个生成器通过推断有效负载内容，为每个asset添加一个插件，描述该资产的“物理集群”。 生成器允许任意逻辑，因为将服务模型扩展到生产模型可能很复杂。虽然我们希望避免复杂性，但通过某种形式的模板强制做简化可能没有帮助。相反，我们选择接受这种复杂性：将创建服务配置视为与技术栈中任何其他过程一样的过程，因此值得使用常规的编程语言。不再依赖于模版或者配置语言，而是从转化中分离数据（配置）。 使用SoT，大多数用户只需要重用常见的生成器，仅仅有特殊需求的用户需要维护自定义的生成器。 Shakespeare服务的生成器会为manifest里列出的每个集群创建两个asset：一个针对job，一个针对本地负载均衡器配置。 验...阅读全文
统资源，所以，随着客户端的增多，其性能也就越差。 而边缘触发，由于监控的是FD的状态变化，所以整体的系统通知并没有那么频繁，高并发下整体的性能表现也要好很多。但是由于此模式下，用户需要积极的处理好每一笔数据，带来的维护代价也是相当大的，稍微不注意就有可能出错。所以使用起来须要非常小心才行。 至于二者如何抉择，诸位就仁者见仁智者见智吧。 行文到这里，关于epoll的讲解基本上完毕了，大家从中是不是学到了很多干货呢？ 由于从netty研究到linux epoll底层，其难度非常大，可以用曲高和寡来形容，所以在这块探索的文章是比较少的，很多东西需要自己照着man文档和源码一点一点的琢磨（linux源码详见eventpoll.c等）。这里我来纠正一下搜索引擎上，说epoll高性能是因为利用mmap技...阅读全文
在构建 Docker 容器时，应该尽量想办法获得体积更小的镜像，因为传输和部署体积较小的镜像速度更快。但 RUN 语句总是会创建一个新层，而且在生成镜像之前还需要使用很多中间文件，在这种情况下，该如何获得体积更小的镜像呢？ 你可能已经注意到了，大多数 Dockerfiles 都使用了一些奇怪的技巧： FROM ubuntu RUN apt-get update && apt-get install vim 为什么使用&&？而不是使用两个 RUN 语句代替呢？比如： FROM ubuntu RUN apt-get update RUN apt-get install vim 从 Docker 1.10 开始，COPY、ADD 和 RUN 语句会向镜像中添加新层。前面的示例创建了两个层而不是一...阅读全文
域名，是用以简化记录服务器IP地址的马夹，所以，域名只有通过解析到具体的IP地址才能访问网站，就相当于给IP地址穿上的一件马夹，避免我们去记那一长串的数字。可以说，域名的价值是依托于服务器的，没有域名的服务器，可以用IP地址访问，而不解析的域名，就仅仅只是一串字符而已。 商标，是用以区分商品(或服务)来源的一种显著标志，不同公司提供的相同商品，对于大众而言，商品上印刷的标志，代表的就是不同公司。商标的价值，是依托于产品和公司的。 由这一点来看，商标和域名是有其相似性的，广义上来说，它们都是一种指代的符号而已。 但是，域名由于其技术特性，它是虚拟的和全球唯一的，同样的域名不可能同时被两个人注册，它遵循着先注先得的原则，而商标，则允许在不同领域，由不同的人持有相同的商标，比如中国的“中华...阅读全文
通过使用虚拟内存使用共享内存也很简单，系统只需要将各个进程的虚拟内存地址指向系统分配的共享内存地址即可。 SWAP 虚拟内存可以让帮进程”扩充”内存。 我们前文提到了虚拟内存通过缺页中断为进程分配物理内存，内存总是有限的，如果所有的物理内存都被占用了怎么办呢？ Linux 提出 SWAP 的概念，Linux 中可以使用 SWAP 分区，在分配物理内存，但可用内存不足时，将暂时不用的内存数据先放到磁盘上，让有需要的进程先使用，等进程再需要使用这些数据时，再将这些数据加载到内存中，通过这种”交换”技术，Linux 可以让进程使用更多的内存。 常见问题 在了解虚拟内存时，我也有过很多的问题。 32位和64位 最常见的就是 32位和64位的问题了。 CPU 通过物理总线访问内存，那么访问地址的范围就...阅读全文
用，容器之间相互隔离，并且能按需分配资源。大大提高了运维效率和资源利用率 架构 Docker使用了 C/S 体系架构，Docker 客户端与 Docker 守护进程通信，Docker 守护进程负责构建，运行和分发 Docker 容器。Docker 客户端和守护进程可以在同一个系统上运行，也可以将Docker客户端连接到远程Docker守护进程。 我们日常在命令行的操作 docker build, docker push, docker pull, docke build 等等操作都是客户端通过 rest api 请求与 Docker 守护进程交互。 实现原理 下面我们就介绍一下 Docker 在实现隔离，资源控制，文件系统等关键部分所采用的的技术 Namespace Linux manaul...阅读全文
“ 以 docker 为代表，轻量、便携的 container 使得打包和发布应用非常容易。系列文章容器原理主要分析 container 用到的核心技术，主要包括 Linux namespace，cgroups，overlayfs，看完这些内容，你将可以手动创建一个和 container 类似的环境。 cgroup（control group）是一个内核特性，用于限制、统计、隔离一组进程的资源（CPU、内存、磁盘、网络等），首字母不要大写。 “ “cgroup” stands for “control group” and is never capitalized. 单数形式（cgroup）指所有特性，也可以作为“cgroup controllers”的修饰。 复数形式（cgroups）指...阅读全文
，另一端为 calic775b4c8175去往容器 zipkin-production 的数据包，由zipkin-dependencies-production 容器里经过网桥设备转发到 zipkin-dependencies-production 所在的宿主机上，在宿主机上查看路由表。可以看到 zipkin-production (pod-ip 10.20.36.85) 的下一跳是 192.168.163.40，也就是 zipkin-production 所在的宿主机ip地址，网络接口是 tunl0tunl0 设备是一个ip隧道（ip tunnel）设备，技术原理是IPIP，ip包进入ip隧道后会被linux内核的IPIP驱动接管并重新封装（伪造）成去宿主机网络的ip包，然后发送出去。这样原...阅读全文
Dell，联想一样的“组装机”。语言特性的设计者，才是像 Intel，AMD，ARM，Qualcomm 那样核心技术的创造者。 合理的入门语言 所以初学者要想事半功倍，就应该从一种“合理”的，没有明显严重问题的语言出发，掌握最关键的语言特性，然后由此把这些概念应用到其它语言。哪些是合理的入门语言呢？我个人觉得这些语言都可以用来入门： Scheme C Java Python JavaScript 那么相比之下，我不推荐用哪些语言入门呢？ Shell PowerShell AWK Perl PHP Basic Go 总的说来，你不应该使用所谓“脚本语言”作为入门语言，特别是那些源于早期 Unix 系统的脚本语言工具。PowerShell 虽然比 Unix 的 Shell 有所进步，然而它仍然没有摆脱...阅读全文
导语 | kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如上图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中，而Consumer负责从Broker订阅并消费消息。（一）Kafka核心组件producer：消息生产者，就是向broker...阅读全文
处理部分流量同时又不修改服务器的地址成为可能。 性能 HAProxy借助于OS上几种常见的技术来实现性能的最大化。 1，单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。 2，O(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。 3，在任何可用的情况下，单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，这会节约大量的CPU时钟周期及内存带宽； 4，借助于Linux 2.6 (>= 2.6.27.19)上的splice()系统调用，HAProxy可以实现零复制转发(Zero-copy forwarding)，在Linux 3.5及以上的OS中还可以实现零复制启动(zero-starting)； 5，内存...阅读全文
