：Monitoring cAdvisor with Prometheus。 其中有几项是： Metric nameTypeDescriptionUnitcontainer_cpu_usage_seconds_totalCounterCumulative cpu time consumedsecondscontainer_spec_cpu_quotaGaugeCPU quota of the containercontainer_memory_rssGaugeSize of RSSbytescontainer_spec_memory_limit_bytesGaugeMemory limit for the containerbytescontainer_fs_usage_bytesGaugeNumber of...阅读全文
（RBAC）在 K8s 集群中使用 RBAC 对于正确保护系统至关重要。可以为用户、组和 service account 分配权限，以在特定命名空间（角色）或整个集群（ClusterRole）上执行允许的操作。每个角色可以有多个权限。要将定义的角色绑定到用户、组或 service account，使用 RoleBinding 或 ClusterRoleBinding 对象。RBAC 角色授予应设置为使用最小权限原则，即仅授予所需的权限。例如，管理员组可能有权访问所有资源，而运维人员组可能能够部署，但不能读取 secret。在外部托管Kubernetes集群（使用云服务）在自己的硬件上托管 K8s 集群可能是一项复杂的工作。云服务将 K8s 集群作为平台即服务 (PaaS) 提供，例如 Azure 上...阅读全文
host_alias=wasm32-musl-wasi \ --target=wasm32-wasi target_alias=wasm32-musl-wasi \ ${PHP_CONFIGURE} || exit 1 ... make -j ${MAKE_TARGETS} || exit 1 WASI 是一项正在进行的工作，许多 POSIX 调用仍然不能在它之上实现。 因此，要构建 PHP，我们必须在原始代码库之上应用多个补丁。我们在上面看到输出二进制文件会转到 build-output/php/php-7.4.32。 在下面的示例中，我们将使用专门为 WasmEdge 构建的 php-wasmedge 二进制文件，因为它提供服务端 socket 支持，服务端 socket 支持还不是 WASI 的一部分...阅读全文
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
Debian 项目团队宣布其稳定发行版 Debian 10 （代号 "buster"）的第八次更新。本次更新主要是对安全问题进行了修正，同时也对一些严重的问题进行了调整。安全公告已经单独发布，并在可用的地方进行了参考。 需要注意的是，这个点发行版（point release）并不构成 Debian 10 的新版本，只是更新了其中的一些软件包。没有必要扔掉旧的 "buster "介质。安装后，可以使用最新的Debian镜像将软件包升级到当前版本。 那些经常从 security.debian.org 安装更新的人不会需要更新很多软件包，大多数这样的更新都包含在点发布中。新的安装镜像很快就会在常规位置提供。 将现有的安装升级到这个版本可以通过将软件包管理系统指向Debian的许多HTTP镜像之一...阅读全文
Connect 项目，这个项目的边缘设备是地地道道的物理设备，并且从硬件到软件全部是自己定制的。关于 Open Connect 的详细介绍，以及使用的技术栈可以看 Netflix 的分享，还有他们如何做 CDN 监控的。 主要功能 回到 Spinnaker，他主要管理 Netflix 的云服务，并不管理 OpenConnect 相关的设备和服务。Spinnaker 是基于云的 CD 平台，提供快速、可靠、稳定的软件变更服务。主要包含两类功能：集群管理（Cluster management）和部署管理（deployment management）。 1. 集群管理 集群管理主要用于管理云资源，Spinnaker 所说的“云”可以理解成 AWS，即主要是 IaaS 的资源，比如 OpenStack...阅读全文
对于云主机与云主机之间，只有轻微差异（小包场景下，pps 会有 3~5% 损耗），而且Pod网络性能各项指标(吞吐量，包量，延迟等)不会随着节点规模增大而削减。而Flannel UDP，VXLan模式和Calico IPIP的模式存在明显的性能消耗。Pod能直通公有云和物理云。对于使用公有云和物理云的用户而言，业务上K8S少了一层障碍，多了一份便利。而Flannel的host gw模式下，容器无法访问公有云和物理云主机。 而CNI的工作流程如下所示。 创建Pod网络过程： 删除Pod网络过程： Pod IP 消失问题的排查与解决 为了测试CNI插件的稳定性，测试同学在UK8S上部署了一个CronJob，每分钟运行一个Job任务，一天要运行1440个任务。该CronJob定义如下...阅读全文
可以提供一个可选的整型参数，用于设置该channel的缓冲区大小。该值缺省为0，用来构建默认的“无缓冲channel”，也称为“同步channel”。 Channel作为goroutine间的一种通信机制，与操作系统的其它通信机制类似，一般有两个目的：同步，或者传递消息。 2. 同步 c := make(chan int) // Allocate a channel. // Start the sort in a goroutine; when it completes, signal on the channel. go func() { list.Sort() c <- 1 // Send a signal; value does not matter...阅读全文
, LABEL, EXPOSE, ENV, ADD, COPY, ENTRYPOINT, VOLUME, USER, WORKDIR, ARG, ONBUILD, SHELL等指令，这里只选择常用的几个进行讲解，可结合上面的示例进行理解。其它的请自行查阅官方文档。 3.1 FROM FROM 指令用于指定要操作的基础镜像，因为在我们构建我们自己的镜像的时候需要一个基础镜像。 语法： FROM
-certificate-exporter监控集群所有node的 /etc/kubernetes/pki 和 /var/lib/kubelet 下的证书以及 kubeconfig 文件 优势: 可以监控所有 node, 所有 kubeconfig 文件, 以及 所有 tls 格式的 secret 证书, 如果要监控 Kubernetes 集群以外的证书, 也可以如法炮制; 范围广而全; 需要额外安装: x509-certificate-exporter, 对应有 1 个 Deployment 和 多个 DaemonSet, 对 Kubernetes 集群的资源消耗不少. 可以根据您的实际情况灵活进行选择. 🎉🎉🎉 📚️参考文档 如何使用 Blackbox Exporter 监控 URL? - 东风微鸣技术...阅读全文
在这个互联网时代，游戏、电影、照片等数据越来越大，硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题，但是速度太慢，体验糟糕，并不是最优的个人存储解决方案。我们渴求大容量的SSD，不过超过TB大容量SSD动不动就几千元的售价，对于支付能力有限用户实际上没有意义。SSD的成本主要来源于闪存，在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存，解决容量与价格的矛盾，才能让SSD真正在大数据时代发挥应有作用。 这时，QLC 闪存就应运而生， 目前，东芝和西数先后宣布成功开发基于四比特单元3D NAND闪存芯片，即QLC闪存，这也意味着QLC SSD将要来临。那么，它与TLC闪存又有什么区别，能否取代TLC成为SSD主流闪存之选？ 先来了解一下什么是TLC...阅读全文
无人驾驶、工业自动化等需要低时延、高可靠连接的业务。 推进5G和车联网的融合发展 车联网是5G技术率先应用的领域 共同探索5G在垂直行业领域的应用和拓展，车联网是5G技术率先应用的领域。无人驾驶是通信和计算在5G时代的价值交汇，目前中国ICT产业链推动的LTE-V标准，已备受国际重视，形成了一定的先发优势。 为推进5G和车联网的融合发展，针对该标准，工信部已与交通、公安等多个部委成立了车联网专项委员会。 从产业应用角度,基于5G网络的创新技术,例如VR/AR视频技术、无人驾驶技术等。华为、中兴、爱立信、诺基亚、英特尔、高通等厂商,都成为战略聚焦领域挑之一。 共同探索5G在垂直行业领域的应用 5G三大垂直市场是哪些 据爱立信近日发布《5G进度调研》，2017年度报告上指出，许多运营商都加快了备...阅读全文
”（Bootstrap），也就是用Go来实现Go、用Go来编译Go。之前都是用C来实现，编译Go项目就是编译C语言。 因此，只要把源码checkout到1.4版本，就可以不需要依赖于Go自身，解决自我依赖悖论。 git checkout go1.4 ./all.bash 二次编译错误：import cycle not allowed import cycle not allowed package ./cmd/dist imports bytes imports errors imports runtime imports runtime/internal/atomic imports runtime Go不支持循环导入，不知算进步还是退步。 不过，这里倒是体现了价值，提前报错。这个错误的主要原因，是编译时把...阅读全文
ListBucket 操作，它将返回有关存储段中项目的信息。任何您没有显式允许的操作都将被拒绝。 资源：您允许对哪些资源执行操作。例如，您将允许用户对哪些特定 Amazon S3 存储段执行ListBucket 操作？用户不能访问任何您没有显式授予许可的任何资源。 效果：当用户请求访问权限时将产生什么效果（允许或拒绝）。因为默认设置为拒绝用户访问资源，因此您通常需要指定您将允许用户访问资源。 AWS IAM 最佳实践 隐藏您的 AWS 账户根用户 访问密钥创建单独的 IAM 用户使用组向 IAM 用户分配权限授予最低权限利用 AWS 托管策略开始使用权限使用客户托管策略而不是内联策略使用访问权限级别查看 IAM 权限为您的用户配置强密码策略为特权用户启用 MFA针对在 Amazon EC2 实例上运行的应用程...阅读全文
更早之前，AMD在其EYPC系列CPU中，也用到了"黏合"这一步骤，让芯片设计成本减少一半。自家芯片的“黏合”似乎已经不成问题，那么能否从全球市场上挑选出性能最优的芯片黏合在一起，创造出更强大的芯片？几周前，能够实现芯片互连的"万能胶"出现了，英特尔、AMD、台积电等芯片公司联合成立小芯片互连产业联盟，定制UCIe 1.0（Universal Chiplet Interconnect Express）标准。如果将同一家芯片公司的互连方式（例如英伟达的NVlink）视为只能黏合一种材质且功能单一的胶水，那么UCIe标准的提出则意味着能够实现各种芯片互连的芯片万能胶的雏形初现。芯片万能胶，是否已经有足够的能力替代不断微缩的晶体管，成为摩尔定律的"续命丹"？“胶水”芯片时代的真起点"胶水"芯片发...阅读全文
容器中创建namespace，不要让他影响到你，我选择提供一个容器预加载所有依赖项的方法。我使用 --net host标志，这样可以在容器内看到host的网络接口。也需要提供--privilged标签，以保证拥有正确的权限去通过容器创建新的namespace。 以下是Dockerfile内的内容： FROM debian:jessie RUN apt-get update && apt-get install -y \ gcc \ vim \ emacs COPY containers/ /containers/ WORKDIR /containers CMD ["bash"] 我会使用C语言来解释这个例子，因为它比Go语言更容易去解释底层的细节。 NET Namespace network...阅读全文
据库等。 配置需要治理 权限控制，由于配置能改变程序的行为，不正确的配置甚至能引起灾难，所以对配置的修改必须有比较完善的权限控制，不同环境、集群配置管理，同一份程序在不同的环境（开发，测试，生产）、不同的集群（如不同的数据中心）经常需要有不同的配置，所以需要有完善的环境、集群配置管理。 Apollo 配置中心基本使用 Apollo 基础模型 用户在配置中心对配置进行修改并发布；配置中心通知 Apollo 客户端有配置更新；Apollo 客户端从配置中心拉取最新的配置、更新本地配置并通知到应用。 界面概览 上图是 Apollo 配置中心中一个项目的配置首页，在页面左上方的环境列表模块展示了所有的环境和集群，用户可以随时切换。页面中央展示了两个 namespace（application 和...阅读全文
打破长达半世纪的 IP 协议，重塑互联网，可能实现吗？华为正在尝试中。据《金融时报》报道，华为联合中国工会、中国电信、中国工业和信息化部向国际电信联盟（International Telecommunication Union，ITU）提出一项名为“New IP” 的提案。 华为在提交的议案文章（题为“New IP framework and Protocol for Future Applications”）中介绍到，New IP 是一种新型互联网协议框架，能够更好地支持新兴网络应用，比如多网络和全息通信等，将从根本上支持网络层的可变长度、多语义地址以及用户定制的网络。 华为指出，现有的 IP 协议已面临着网络挑战，主要有两个方面：一是 AR/VR、全息通信等新兴应用的发展需要更高效和定...阅读全文
在引擎层面，API 层面和算子的执行层面上做到了真正的流与批用同一套机制运行。但是在任务具体的执行模式上会有 2 种不同的模式： 下图是不同的执行模式： 对于无限的数据流，统一采用了流的执行模式。流的执行模式指的是所有计算节点是通过 Pipeline 模式去连接的，Pipeline 是指上游和下游计算任务是同时运行的，随着上游不断产出数据，下游同时在不断消费数据。这种全 Pipeline 的执行方式可以： 通过 eventTime 表示数据是什么时候产生的； 通过 watermark 得知在哪个时间点，数据已经到达了； 通过 state 来维护计算中间状态； 通过 Checkpoint 做容错的处理。 这两种各有优劣，可以根据作业的具体场景来进行选择。 对于有限的数据集有 2 种执行模式，我...阅读全文
器容灾稳定性等非专业逻辑的开发。这些服务器的运维和开发知识、经验极大地限制了开发者进行业务开发的效率。设想一下，如果开发者直接租用服务或者开发服务而无须关注如何在服务器中运行部署服务，是否可以极大地提升开发效率和产品质量？这种去服务器而直接使用服务的架构，我们称之为 Serverless 架构（无服务器架构）。 Serverless 架构的问世 2014 年，云厂商 AWS 推出了“无服务器”的范式服务。其实，最初“无服务器”意在帮助开发者摆脱运行后端应用程序所需的服务器设备的设置和管理工作。这项技术的目标并不是为了实现真正意义上的“无服务器”，而是指由第三方供应商负责后端基础结构的维护，以服务的方式为开发者提供所需功能，例如数据库、消息，以及身份验证等。这种服务基础结构通常可以叫做后端即服...阅读全文
在用 Golang 开发过程中，我们一定能在代码里很多函数或方法都会传递 context, 也会经常遇到这样的报错 context deadline exceeded。你有想过或去探究过 context 到底是什么吗，为什么会遇到上述的报错。在这里我们就分析一下 context 是什么及用途。 首选 Golang 中的 context 值得是 context.Context 接口,Golang 在 1.7 版本中引入标准库的接口。context 主要用来在 goroutine 之间传递上下文信息，包括：取消信号、截止时间、key-value 等。 Context 定义 Context 接口定义如下 1 2 3 4 5 6 7 8 9 10 type Context interface...阅读全文
，使用了很多叫做arena的memory pool,缺省配置在64bit下面是每一个arena为64M，一个进程可以最多有 cores * 8个arena。假设你的机器是4核的，那么最多可以有4 * 8 = 32个arena，也就是使用32 * 64 = 2048M内存。 当然你也可以通过设置环境变量来改变arena的数量.例如 export MALLOC_ARENA_MAX=1 hadoop推荐把这个值设置为4。当然了，既然是多核的机器，而arena的引进是为了解决多线程内存分配竞争的问题，那么设置为cpu核的数量估计也是一个不错的选择。设置这个值以后最好能对你的程序做一下压力测试，用以看看改变arena的数量是否会对程序的性能有影响。 mallopt(M_ARENA_MAX, xxx)如果...阅读全文
update。如果apt-file search filename输出的内容太多，您可以尝试使用， apt-file search filename | grep -w filename 只显示指定字符串作为完整的单词出现在其中的那些文件名，类似方法还有 ， apt-file search filename | grep /bin/ 只显示位于诸如/bin或/usr/bin这些带有/bin字段的文件夹中的文件，如果您要查找的是某个特定的执行文件的话，这样做是有帮助的。 典型应用 我是个赛车发烧友，想装个赛车类游戏玩玩。有哪些赛车类游戏可供选择呢？apt-cache search racing game出来了一大堆结果。看看有没有更多关于torcs这个游戏的信息。apt-cache show torcs...阅读全文
户和它们各自的邮箱。创建一个用户是很容易的。 root@mail:~# adduser fourbyte 安装和配置SMTP 服务: postfix 配置文件路径 /etc/postfix/ 执行脚本 /etc/init.d/postfix 日志文件 /var/log/mail.log 端口 TCP/25 SMTP：安装postfix Postfix是广泛使用的SMTP服务器之一，因为它是稳定的、轻量级的、可扩展的、高度可定制的。安装postfix可以使用apt-get的完成。 root@mail:~# apt-get install postfix 在安装过程中，需要指定电子邮件服务器和域名的类型。 由于此邮件服务器就会直接向目的地发送电子邮件，我们选择Internet Site。 邮件服...阅读全文
转机的设置，并默认已按初始化配置文章对服务器进行了配置。本文将介绍四种方法：firewalld，UFW，iptables，和 socat（推荐）来进行流量中转，根据需要选取其中一种方法操作即可。亦可根据需要，将目标机设置为只允许中转机访问。其中，firewalld，UFW，iptables 均可对 TCP 和 UDP 进行转发，而 socat 还可以对包含域名的地址进行转发。 准备购买合适的 NAT VPS，此处提供一些服务商了解 NAT VPS 的基本使用方法，例如搞清楚 NAT VPS 一般需要在服务商处查看端口映射的设置基础 Linux 操作知识，并了解 vim 编辑器的基本使用方法 使用 firewalld 进行中转此方法在 CentOS 下较为简便（CentOS 8 默认使用...阅读全文
处，那么自linux 2.6之后新增的epoll模型，则彻底解决了性能问题，一举使得单机承受百万并发的课题变得极为容易。现在可以这么说，只需要一些简单的设置更改，然后配合上epoll的性能，实现单机百万并发轻而易举。同时，由于epoll整体的优化，使得之前的几个比较耗费性能的问题不再成为羁绊，所以也成为了linux平台上进行网络通讯的首选模型。 讲解之前，还是linux man文档镇楼：linux man epoll 4类文档 linux man epoll 7类文档，俩文档结合着读，会对epoll有个大概的了解。和之前提到的select和poll不同的是，此二者皆属于系统调用函数，但是epoll则不然，他是存在于内核中的数据结构，可以通过epoll_create，epoll_ctl及...阅读全文
眼光羡慕别人。 于是在工作一年半的时候，选着了裸辞，其实还是很佩服自己，因为多数人都是骑驴找马。多数时候是招聘 3、5、8 年经验的人。但是，当你顾虑越多的时候，越容易失败。 所以，找到你的追求，然后就去追去。 失败不可怕，需要对自己、未来充满信心 当时的我真的很弱，但是我就是想找个地方提升自己的技术，提升自己的价值。 刚好有个朋友是阿里 B2B 的，当时也没有太多关注阿里，也不知道阿里到底有哪些子公司。但是，我的朋友，热心的说：“要不要我帮你内推试试？”，我就是抱着试一试的心态，想去尝试下，知道阿里的技术强，但是到不到阿里的要求。 于是开启了我奇葩的入职阿里经历。 第一次面试，阿里 B2B 的岗位，就有很多知识不知道，面试官问了一致性 hash，那个年代的我，哪里知道。不过面试官还是和我聊...阅读全文
"+memory +cpu" > cgroup.subtree_control echo: write error: no such file or directory ❯ cat test1/cgroup.controllers 虽然启用 memory controller 可以成功，但是启用 cpu controller 的时候失败了，所以 memory controller 也没有启用。 cgroup.type：可读可写，存在于非 root cgroup 中。可选的值： “domain”：正常的有效 domain cgroup，默认类型。 “domain threaded”：threaded 类型 domain cgroup，作为 threaded 子树的根结点。 “domain invalid...阅读全文
Foundation 毕业的服务网格项目，它提供了一个以简单性为目标和重点的实现，直接从 Kubernetes ServiceAccounts 提取工作负载标识来达到“零配置”，默认开启双向 TLS。同样，Linkerd 的基于 Rust 的微代理提供了一个极简的零信任实现。当然，仅仅在集群中添加一个服务网格并不是万能的。安装后，必须完成定义、更新和评估授权策略的工作。集群运维人员必须小心确保所有新创建的 pod 都与它们的 sidecar 组件配对。当然，服务网格本身必须像集群上的任何软件一样进行维护、监控和迭代。然而，不管是不是灵丹妙药，服务网格确实提供了从集群中默认的未加密、未经身份验证的流量转变为具有强大工作负载身份和丰富授权系统的默认加密、经过身份验证的流量——这是朝着零信任迈出的一大步。总结零信任...阅读全文
