是运营成本并不高，他认为S3是亚马逊的一头现金牛。他提到，如果S3的毛利润率低于70%，他会感到很惊讶。不过，前述科技业人士苏里则预测，S3毛利润率在50%左右。目前，客户把数据迁移到S3是免费的。不过，要从亚马逊搬走1TB的数据，费用比每月存储费多出三倍。作为对比，Wasabi公司目前对数据迁移免费，弗雷德表示，这样的收费项目会让AWS业绩难以预测，另外，高昂的外迁费也促使企业继续成为亚马逊云计算的忠实客户。弗雷德表示，几乎所有企业都清楚自己有多少数据，但是他们不了解实际访问这些数据的频率。他提到Wasabi的一家客户把数据从亚马逊搬迁到Wasabi，一共花费了600万美元。许多亚马逊云计算客户还选择了“弹性块存储”服务（EBS），这一服务和EC2计算实例绑定，可用于存储相关数据。另外，即...阅读全文
] munmap(0x7f53d0000000, 13275136) = 0 [pid 19343] mmap(NULL, 8392704, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS|MAP_STACK, -1, 0) = 0x7f53d04a8000 Process 19495 attached 我检查了一下trace文件也没有发现大量内存mmap动作，即便是brk动作引起的内存增长也不大。于是感觉人生都没有方向了，然后怀疑是不是文件缓存把虚拟内存占掉了，注释掉了代码中所有读写日志的代码，虚拟内存依然增加，排除了这个可能。 灵光一现 后来，我开始减少thread的数量开始测试，在测试的时候偶然发现一个很奇怪的现象。那就是如果进程创建了一个线程并且在该...阅读全文
given window。 - **High-availability：**the aim is 50% resource utilization at 99.9th-percentile resource usage over the given window。   ### Health 集群基础架构状态评分，建议修复的会标识红色感叹号❗，如下图所示： ![img](https...阅读全文
部依赖调整为开源库。 对于需要集成治理能力融入微服务体系的 Kitex，他们基于其扩展性，对内外部代码做了拆分，把 Kitex 的核心代码迁移到开源库，内部库封装一层壳保证内部用户无感知升级，而集成内部治理特性的模块则作为 Kitex 的扩展保留在内部库。字节跳动基础架构团队表示，未来也会持续把已经在内部经过稳定性验证的新特性，迁移到开源库。 谈到 CloudWeGo 的未来规划，字节跳动基础架构团队表示：“CloudWeGo 不仅仅是一个开源项目，它也是一个真实的超大规模企业级实践项目。通过开源，我们希望 CloudWeGo 能丰富云原生社区的 Golang 工具体系，为更多开发者和企业搭建云原生化的大规模分布式系统，提供一种现代的、资源高效的的技术方案。” 未来他们会进一步推动...阅读全文
法，tweet 版本是：我们所知道的 ops 已亡，做基础设施的人有五年的时间转移到产品上。 DevOps 在很多方面正让开发者跟运维人员感同身受。新运维正好相反。殉道者式的运维团队相当自以为是，他们根本没有做好足够的工作将权利和责任转给开发团队。用这种新的合成工程的方式，我们迫使开发人员从整体角度，系统地思考问题。常言道：只有工程师直接对自己所建造的系统负责时，他们才能建造出真正可靠的系统，也就是意味着工程师要随叫随到，而不是指望其他运行人员。 因着这样的转变，老派的、西部狂野式的运维需要消亡。运维一般被看作是守门人，他们也是这么看待自己的。运维正尽可能多地嵌入进程，减缓开发速度，所以当他们开始生产时，开发人员会有近乎完美的可靠系统。一旦该系统历经千辛万苦，经受了严格指责，投入生产之后，老...阅读全文
Debian和Ubuntu都有一组官方授予的针对贡献者的成员角色，他们可以以参加选举或其他官方决策等方式参与到项目的治理中，同时这也是给贡献者分配工作的一种手段，大部分贡献者对他们获得的身份都感到很自豪。 在一个发行版的发展过程中，成员结构扮演中重要的角色：它定义了受项目欢迎的贡献者类型，以及项目对贡献者的期望和贡献者拥有的权利。最后，这种方式形成了项目招募新贡献者的吸引力，而只有不断吸收新贡献者才能使项目保持活力。 本文将以Debian和Ubuntu对比为例，介绍不同背景的社区成员是如何进行贡献以及官方认可的。 简介 在具体介绍开始之前，先为大家简单的介绍一下Debian和Ubuntu这两个项目。 Debian是由各种开源协议下的自由软体组成的作业系统，由“Debian计划”组织维护...阅读全文
基于属性来查询，可用属性包括服务、操作名称、tagsm 和持续时间等。系统会为你总结一些有趣的数据，例如在一个服务中花费的时间百分比，以及操作是否失败等。 Azure Monitor Azure Monitor 提供了一个全面的解决方案，从你的云和本地环境中收集、分析数据和执行遥测任务，从而最大程度地提高应用程序和服务的可用性和性能。 它可以帮助你了解应用程序的性能，并主动识别影响它们的问题以及它们所依赖的资源。 你可以使用 Azure Monitor 做很多事情，例如： 使用 Application Insights 检测和诊断跨应用程序和依赖项的问题 将基础架构问题与分别适用于 VM/ 容器的 AzureMonitor 相关联 使用 Log Analytics 深度分析监视数据，以进行故...阅读全文
方出售该儿童的个人信息。 4.3 小结 欧盟GDPR倾向于默认13到16周岁儿童对个人信息的处理行为不具备完全认知能力，因而需要监护人的授权，企业方能处理其个人信息。 而CCPA倾向默认为13到16周岁的儿童具备一定的行为能力，即其作为消费者有权授权他人处理自己的个人数据。 5. 数据主体反对数据处理的权利 5.1 GDPR：数据的处理以数据主体“同意”为原则，数据主体有“撤回同意权”，并且对敏感数据的处理及直接营销、用户画像的行为拥有反对权，偏重于保护用户的数据 GDPR将“同意”规定为最重要的数据处理合法基础的前提下，做出了如下规定保护数据主体： （1）数据主体的“撤回同意权”：GDPR第7条第3款：数据主体有权随时撤回同意。同意的撤回不应影响在撤回前基于同意做出的数据处理合法性。 （2...阅读全文
优势是管理生产的方式是一致的，但也有其他好处。 Prodspec给对给定服务模型有兴趣的多种工具提供结构化的精准信息。工具负责监控，分析以及审计，甚至一次性脚本可以访问相同的权威数据。 中央化控制平面还让我们可以封装最佳实践。在配置层，可以很容易地侦测某个服务是不是配置恰当，甚至可以在多个基础架构之上。这大大减少了运行时的意外情况，因为你不会姗姗来迟地发现为了支持前端，需要配置某些关键的基础架构。 acutation和执行层的最佳实践也得益于Annealing。在工作流模型里，通常需要为服务裁剪每个工作流。Annealing的持续执行模型让我们可以指定工作流之间的共性。 我们可以使用插件将用于驱动推送的通用逻辑从actuation的粒度细节中分离出来。比如，check插件可以自动确保以正确的...阅读全文
types 已废除，将会在10.0中移除。用stages替代。 与stages同义 variables GitLab Runner V0.5.0. 开始引入 GItLab CI 允许在.gitlab-ci.yml文件中添加变量，并在job环境中起作用。因为这些配置是存储在git仓库中，所以最好是存储项目的非敏感配置，例如： variables: DATABASE_URL:"postgres://postgres@postgres/my_database" 这些变量可以被后续的命令和脚本使用。服务容器也可以使用YAML中定义的变量，因此我们可以很好的调控服务容器。变量也可以定义成job level。 除了用户自定义的变量外，Runner也可以定义它自己的变量...阅读全文
slave，并且Basic.Consume消费时指定了x-cancel-on-ha-failover参数，那么客户端会受到一个Consumer Cancellation Notification通知。如果未指定x-cancal-on-ha-failover参数，那么消费者就无法感知master宕机，会一直等待下去。 这就告诉我们，集群中存在镜像队列时，重新master节点有风险。镜像队列中节点启动顺序，非常有讲究： 假设集群中包含两个节点，一般生产环境会部署三个节点，但为了方便说明，采用两个节点的形式进行说明。 场景1：A先停，B后停 该场景下B是master，只要先启动B，再启动A即可。或者先启动A，再在30s之内启动B即可恢复镜像队列。（如果没有在30s内回复B，那么A自己就停掉自己） 场景2...阅读全文
Serverless 这个概念可以对应 FaaS，也可以代表一种架构，也可以代表一种服务的形态，例如 Aurora Serverless 就是把一个数据库的服务变成 Serverless 的。 容器和 Serverless 的区别在于，Serverless 是无容器的，除了不关注服务器，也看不到容器。两者是面向不同场景的，并不是互相替代的关系。FaaS 的特点，接收一个请求拉起一个函数执行，函数是无状态的，它的执行地点也不固定，这意味着延时相对于常驻进程要高，对一些延时敏感的地方它是不合适的，但是有些场景是非常合适的。我举个例子，在 IoT 场景中，有几十万的设备，为了节省电源，它们大部分时候处于睡眠状态，如果用传统的架构去为这几十万设备服务的话，肯定要考虑并发连接的时候，应该有多少计算资源去服务，这很浪费成...阅读全文
建一个Pod。这个Pod的生命周期中，理想情况下，需要经历以下重要事件： 1. Pod被成功调度到某个工作节点，节点上的Kubelet通过Watch APIServer感知到创建Pod事件，开始创建Pod流程； 2. kubelet为Pod创建Sandbox容器，用于创建Pod网络名称空间和调用CNI插件初始化Pod网络，Sandbox容器启动后，会触发第一次kubelet PLEG(Pod Life Event Generator)事件。 3. 主容器创建并启动，触发第二次PLEG事件。 4. 主容器date命令运行结束，容器终止，触发第三次PLEG事件。 5. kubelet杀死Pod中残余的Sandbox容器。 6. Sandbox容器被杀死，触发第四次PLEG事件。 其中3和4由于时...阅读全文
SerDe 构造函数来配置他们的窗口化 SerDe，然后在拓扑中使用它的任何地方提供 SerDe。KIP-633：弃用 Streams 中宽限期的 24 小时默认值在 Kafka Streams 中，允许窗口操作根据称为宽限期的配置属性处理窗口外的记录。以前，这个配置是可选的，很容易错过，导致默认为24小时。这是Suppression运营商用户经常感到困惑的原因，因为它会缓冲记录直到宽限期结束，因此会增加 24 小时的延迟。在 3.0 中，Windows类通过工厂方法得到增强，这些工厂方法要求它们使用自定义宽限期或根本没有宽限期来构造。已弃用默认宽限期为 24 小时的旧工厂方法，以及与grace()已设置此配置的新工厂方法不兼容的相应API。KIP-623：internal-topics为流应用程序...阅读全文
，并且 toHexString(）操作也进行了优化。重新使用 async-profiler 查看一下最新的火焰图信息。 之前的 toHexString() 耗时已经几乎看不到了，但是感觉日志append 的操作横轴还是略长，于是将日志输出关闭来看看极限处理速度。 将日志级别调整为 warn,并启动程序，观测到处理速度已经能够达到 18万/s了，这相当于 toHexString(）优化前的快3倍了。 此时决定再将日志append 模式改为异步模式，然后启动程序，观察，处理速率也能够达到 18万/s。 十、参考链接 火焰图的介绍论文 火焰图官方主页 火焰图生成工具 https://www.ruanyifeng.com/blog/2017/09/flame-graph.html https...阅读全文
-wasm:wordpress 可以访问 http://localhost:8087 并使用由 PHP Wasm 解释器服务的 WordPress，它由 Apache HTTPD 中的 mod_wasm 加载。直接在浏览器中服务 WordPress访问 https://wordpress.wasmlabs.dev 获得示例。 你将看到一个框架，其中 PHP Wasm 解释器会现场渲染 WordPress。结论感谢阅读本文。 需要消化的内容很多，但我们希望本文有助于理解 WebAssembly 的能力以及它如何与你现有的代码库和工具（包括 Docker）结合运行。 期待看到你使用 Wasm 编程！如果你觉得 WasmEdge 不错，不要忘了给我们点个赞！...阅读全文
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，一些概念还...阅读全文
1636706889 11155879367 #other_node较高 #numactl --show 用于查看当前numa策略 > numactl --show policy: default #使用默认策略(localalloc) preferred node: current physcpubind: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 cpubind: 0 1 nodebind: 0 1 membind: 0 1通过查询，发现当前的numa策略会出现大量的miss。由于influxdb基于go语言开发，go语言社区中有关于 numa 感知调度的设计文档，但是本身的实...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
源分布式监控平台 CAT 深度剖析-阿里云开发者社区 https://developer.aliyun.com/article/269295 趣谈“分布式链路追踪“组件发展史https://xie.infoq.cn/article/8e06e8d9e43d1768e021225cb Jaeger Sampling https://www.jaegertracing.io/docs/1.39/sampling/ A brief history of OpenTelemetry (So Far) | Cloud Native Computing Foundation https://www.cncf.io/blog/2019/05/21/a-brief-history-of...阅读全文
2 rise 1 fall 2 maxconn 300 server dbsrv2 192.168.1.112:3306 check port 3306 intval 2 rise 1 fall 2 maxconn 300 感谢“田飞雨”投稿分享。 1，安装haproxy 2，详解配置文件 2.1 配置文件格式 2.3 全局配置 2.4 代理 3.1 balance 3.2 bind 3.3 mode 3.4 hash-type 3.5 log 3.6 maxconn 3.7 default_backend 3.8 server 3.9 capture request header 3.10 capture response header 3.11 stats enable 3.12...阅读全文
每个任务的执行效率更加敏感。 针对Redis的性能优化，主要从下面几个层面入手： 最初的也是最重要的，确保没有让Redis执行耗时长的命令 使用pipelining将连续执行的命令组合执行 操作系统的Transparent huge pages功能必须关闭："echo never > /sys/kernel/mm/transparent_hugepage/enabled" 如果在虚拟机中运行Redis，可能天然就有虚拟机环境带来的固有延迟。可以通过./redis-cli –intrinsic-latency 100命令查看固有延迟。同时如果对Redis的性能有较高要求的话，应尽可能在物理机上直接部署Redis。 检查数据持久化策略 考虑引入读写分离机制 长耗时命令 Redis绝大多数读写命令...阅读全文
