-go/blob/master/question/q003.md) - [判断两个给定的字符串排序后是否一致](https://github.com/lifei6671/interview-go/blob/master/question/q004.md) - [字符串替换问题](https://github.com/lifei6671/interview-go/blob/master/question/q005.md) - [机器人坐标计算](https://github.com/lifei6671/interview-go/blob/master/question/q006.md) - [语法题目一](https://github.com/lifei6671/interview-go...阅读全文
kubernetes，简称K8s，是知名的开源容器编排与调度平台，它的目标是让容器化部署、资源分配简单且高效。K8s是绝对主流且流行的容器管理平台，据说在合肥运维同学不会k8s是找不到工作的。本文我们将列举常用的kubernetes命令，后续会完善内容并提升易读性。 想起十几年前，我曾在Linux伊甸园的论坛，整理过一份rpm常用命令的列表，不知有多少朋友看过？ 查看所有namespace的pods运行情况 kubectl get pods --all-namespaces 查看具体pods，记得后边跟namespace名字哦 kubectl get pods kubernetes-dashboard-76479d66bb-nj8wr --namespace=kube-system 查看...阅读全文
有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为，改善用户体验，将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上，并通过Hadoop进行分析、生成日常报告。 流处理：保存收集流数据，以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理，汇总，扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文
如 v4.13 的 “Fearless Coyote” (v4.13) 和 v4.18 的 “Merciless Moray” 。 24、据红帽所述，排名前十的公有云中有 9 个是运行在 Linux 上的。 25、Ubuntu 是世界上最流行的基于 Linux 的桌面操作系统，它在全球拥有约 2000 万用户。Linux 占台式计算机约 2％ 的使用份额。 26、第一本关于 Linux 的出版物是 Matt Welsh 于1993年出版的 “Linux 安装和入门” 。第一本专刊 “Linux Journal” 于1994年3月出版，并首次对 Linus 进行了采访。 27、Linux 是开源领域最着名的模范，但其实早期版本的 Linux 是禁止商业使用或再分发的。直到1992年发布...阅读全文
Desktop 12-SP2 OpenSuse 漏洞检测: 可以使用以下命令查看 sudo 版本: sudo -V 漏洞修复建议 (或缓解措施): 目前阿里云官方软件源已经同步更新，可以通过以下命令更新补丁: Ubuntu/Debian: sudo apt-get update & sudo apt-get upgrade CentOS/RHEL: yum update yum update sudo 注：升级 kernel 可能会导致服务器无法启动，建议您在升级补丁时排除内核升级 打开/etc/yum.conf ，输入： # vi /etc/yum.conf 在 [main] 段中，下添加一行，如下： exclude= kernel* //这里假设是排除内核升级 情报来源:http...阅读全文
昨天，Apache Kafka 3.0 版本正式发布，这是一个涉及多方面的大版本。在这个版本中，Apache Kafka 3.0 引入了各种新功能、突破性的 API 更改以及对 KRaft 的改进：Apache Kafka 的内置共识机制将取代 Apache ZooKeeper™。虽然 KRaft 尚未被推荐用于生产（已知差距列表），但我们对 KRaft 元数据和 API 进行了许多改进。Exactly-once 和分区重新分配支持值得强调，我们鼓励开发者查看 KRaft 的新功能并在开发环境中试用它。并且，从 Apache Kafka 3.0 开始，生产者默认启用最强的交付保证 ( acks=all, enable.idempotence=true)，这意味着用户现在默认获得排序和持久性...阅读全文
nsenter 是一个可以在指定进程的命令空间下，运行程序的命令，它位于 util-linux 包中。 nsenter 用途 nsenter 的一个典型用途是进入容器的网络名字空间，进行网络相关的排障... 12月15日 171 评论...阅读全文
去年 5 月曾经写了一篇文章介绍了下 [Lex Fridman 大佬的日常生活安排](https://zhuanlan.zhihu.com/p/371254789) ，后续我也根据他的方法对自己的日常生活做了一系列规范和改进。这一年整体实行下来，效果还是非常显著的，本文的最后会对我的一些实践以及借助的工具做一些分享。...阅读全文
随着企业的逐步成熟，他们会开发更多工具。在Google，我们持续创建新的外部和内部服务，以及支持这些服务的基础架构。 从2013年起，我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新逻辑，并且还需要适应基础架构的变化，经常性的集群的启动关闭等等。配置多个，互相交互的服务的工作流变得难以维护。 我们需要一种全新的方案来适应业务的增长以及所涉及到的配置的复杂性。为此，我们开发了声明式的自动化系统，作为统一的控制层，并且取代了工作流。这个系统包括两个主要的工具：Podspec，描述服务基础架构的工具，和Annealing，更新生产环境来匹配Prodspec输出的工具。本文讨论我们解决过的问题，以及我们所选择的架构。 Prodspec和Annealing有一个根本共...阅读全文
，全新打造的 “握手”机制允许应用程序数据从头开始流动（经常被称为 ‘0RTT’）。新的设计依赖于短暂密钥交换，从而排除了静态密钥。 这引起了一些网络运营商和供应商的担心 —— 尤其是那些需要清晰地知道那些连接内部发生了什么的人。 例如，假设一个对可视性有监管要求的银行数据中心，通过在网络中嗅探通讯包并且使用他们的服务器上的静态密钥解密它，它们可以记录合法通讯和识别有害通讯，无论是来自外部的攻击，还是员工从内部去泄露数据。 TLS 1.3 并不支持那些窃听通讯的特定技术，因为那也是 一种针对短暂密钥防范的攻击形式。然而，因为他们有使用更现代化的加密协议和监视他们的网络的监管要求，这些使网络运营商处境很尴尬。 关于是否规定要求静态密钥、替代方式是否有效、并且为了相对较少的网络环境而减弱整个互联网...阅读全文
-s2000 -X -c echo_fds fd.cip=192.168.0.1as ASCII:sysdig -s2000 -A -c echo_fds fd.cip=192.168.0.1查看本地开放端口中，连接数最多的服务端口：sysdig -c fdcount_by fd.sport "evt.type=accept"查看本地开放端口中，总流量最多的端口：sysdig -c fdbytes_by fd.sport查看客户端IP地址中，连接数最多的 IP：sysdig -c fdcount_by fd.cip "evt.type=accept"查看客户端IP地址中，数据传输量最高的 IP：sysdig -c fdbytes_by fd.cip列出所有的请求链接中，不是访问 apache服务的链接...阅读全文
个版本的数据对比，因为两个版本的数据对比可能存在版本偶然性，三个版本的数据趋势会更明显一些；2) 数据分析时可以使用Excel的一些方便功能，提高效率，如透视表、宏等。4.暴露（验证）问题数据会诚实地反映项目实际情况。通过数据分析的结果，我们会验证在指标选取环节收集的问题是否真实存在，如存在则此问题分析会出现在项目总结报告中。在数据分析时，也可能会暴露出一些我们没有明显感知的问题，这类问题也会出现在项目总结报告中。5.提出解决方案暴露问题不是最终目的，解决问题才是终极目标。所以，当发现问题时，项目经理要找存在问题的相关人员，让其针对问题提供解决方案。问题和解决方案都有了，报告内容基本完成，剩下的就是排版的问题。总结报告排版时一定要注意关键的信息放到最前面（遵循结论先行）。在进行分段时一定要注...阅读全文
近日，百度两年前的一桩诉讼案终于有了答案。中国裁判文书网显示，百度运维员工“安某”从 2018 年1 月底到 5 月底，以技术手段在公司服务器上部署“挖矿”程序，非法控制 150 余台服务器以获取比特币、门罗币等虚拟货币，共获利人民币 10 万余元。 事发后，“安某”不仅被没收了所有获利金额，罚款 11000 元，还背上了三年牢饭，有点惨。 4 个月，占用 155 台服务器，获利 10 万余元。 2017 年“安某”正式入职百度，彼时，比特币的价格飙升到了近 2 万美元，按照当时的汇率，一枚比特币人民币价格将近 13 万。虽然后续的币价有所降低，但挖到一枚，还可以挣几万块，这样的诱惑或许没有几个人会选择无视。 2018 年初，“安某”开始打起了挖矿的主意。 挖矿，是指利用服务器CPU的运算...阅读全文
从我们认为 DevOps 只是一个流行语开始，它已经发展了很长的一段时间。现在，DevOps 已经成为了一个主要焦点，并在过去几年一直在塑造着软件世界。专家表示，DevOps 将成为主流，它的流行程度将在 2019 年达到顶峰。 根据 2018 年《DevOps 现状报告》，DevOps 精英级执行团队代码部署频率和发布速度更高，变更故障率更少，事故恢复时间更短，同时高效能团队的比例逐年增长，采用 DevOps 的团队越来越多。 而 Stack Overflow2018 年的薪资计算器报告显示，全球 DevOps 专家的收入最高，美国 DevOps 专家的年薪中位数接近 10 万美元。 以下是“DevOps”一词的 Google Trends 以及 2019 年的预计增长假设。 从统计数据...阅读全文
性就是序列 ID，它允许基于操作的分片恢复。 以前，如果由于网络问题或节点重启而从集群断开连接的节点，则节点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。 这可能是一个漫长而昂贵的过程，甚至使节点的滚动重新启动非常缓慢。 使用序列 ID，每个分片将只能重放该分片中缺少的操作，使恢复过程更加高效。 使用排序索引更快查询 通过索引排序，只要收集到足够的命中，搜索就可以终止。它对通常用作过滤器的低基数字段（例如 age, gender, is_published）进行排序时可以更高效的搜索，因为所有潜在的匹配文档都被分组在一起。 稀疏区域改进 以前，每个列中的每个字段都预留了一个存储空间。如果只有少数文档出现很多字段，则可能会导致磁盘空间的巨大浪费。现在，你付出你...阅读全文
Skip方法 Limit() 方法 在MongoDB中读取指定数量的数据记录, 使用MongoDB的Limit方法 limit()方法接受一个数字参数，该参数指定从MongoDB中读取的记录条数 语法 db.COLLECTION_NAME.find().limit(NUMBER) 案例 db.ruochen.find().limit(2) Skip() 方法 skip()方法跳过指定数量的数据 skip方法接受一个数字参数作为跳过的记录条数 语法 db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER) 案例 db.ruochen.find().limit(1).skip(1) skip() 方法默认参数为0 MongoDB 排序 sort() 方法...阅读全文
常用开发环境、生产环境简写的含义及用途 DEV、SIT、UAT、PET、SIM、STG、PRD 缩写介绍 按开发、测试、上线的时间线排序： - DEV Development 研发环境 - SIT System Integrate Test 系统集成测试环境（内测） - UAT User Acceptance Test 用户验收测试环境 - PET Performance Evaluation Test 性能评估测试环境（压测） - STG Staging 更接近生产的功能验收、测试环境 - SIM Simulation 高仿真环境 - PRD Production 正式/生产环境...阅读全文
什么是 Calico ？Calico 是一套开源的网络和网络安全方案，用于容器、虚拟机、宿主机之前的网络连接，可以用在kubernetes、OpenShift、DockerEE、OpenStrack等PaaS或IaaS平台上。Calico 组件概述Felix：calico的核心组件，运行在每个节点上。主要的功能有接口管理、路由规则、ACL规则和状态报告接口管理：Felix为内核编写一些接口信息，以便让内核能正确的处理主机endpoint的流量。特别是主机之间的ARP请求和处理ip转发。路由规则：Felix负责主机之间路由信息写到linux内核的FIB（Forwarding Information Base）转发信息库，保证数据包可以在主机之间相互转发。ACL规则：Felix负责将ACL策略...阅读全文
胶"的出现是否意味着那些曾在Chiplet领域有过探索的芯片公司们此前的努力都白费了？王宏波认为， Chiplet只是表示通过先进封装的方式将不同的芯片模块连接起来。"在Chiplet发展初期，各家都会根据自家的产品需求对Chiplet进行独立的投入和研究，先各自在某些方面取得技术突破后，再汇聚成行业标准，这是正常的发展过程。"晶方科技副总经理刘宏钧认为，UCIe标准的制定，一定会用到部分原来已经定义过的协议、熟悉的协议，但也有一些新的标准和封装集成方式需要重新定义，以实现更好的互操作性。“UCIe并不推翻业界之前的工作，而是将小芯片互联的技术标准化了。"要理解UCIe对Chiplet时代即将产生的积极作用，可以将其同PCIe进行类比，在协议层上甚至可以将UCIe理解为PCIe在缩微互联结构...阅读全文
本文翻译自 Jack Roper 的文章 Kubernetes Best Practice。译者：文章中作者从应用程序开发、治理和集群配置三个方面给出了一些 Kubernetes 的最佳实践，同时翻译过程中也加入了我过往的一些使用经验。有误的地方，也欢迎大家指正。在这篇文章中，我将介绍一些使用 Kubernetes (K8s) 时的最佳实践。作为最流行的容器编排系统，K8s 是现代云工程师掌握的事实标准。众所周知，不管使用还是维护 K8s 复杂的系统，因此很好地掌握它应该做什么和不应该做什么，并知道什么是可能的，将是一个好的开局。这些建议包含 3 大类中的常见问题，即应用程序开发、治理和集群配置。最佳实践目录使用命名空间使用就绪和存活探针（译者注：还有启动探针）使用自动缩放使用资源请求和约...阅读全文
（队列守护程序、unchecked、dinstall，以及其他等）。 根据时间安排，我估计你可能需要等待7个小时（!!）以上，你的包才能变成可安装的状态。 对我来说更糟糕的是，针对上传的反馈是异步的。我喜欢做一件事，那就做完它，然后再做下一件。然而，由于没有良好的技术，当前的设置需要等上好几分钟，而且任务切换的开销很大。你可能觉得几分钟也没什么大不了，但是我每天在Debian上花费的时间都以分钟来衡量的话，那么会对工作的生产力和乐趣产生巨大的影响。 最后一次有关于加快这一流程的沟通是2008年ganneff的这篇文章（https://lists.debian.org/debian-project/2008/12/msg00014.html）。 更好的方式是什么？ 利用一个Web服务取代匿名...阅读全文
【巴克莱：仍预计美联储2月加息50个基点，3月加息25个基点】1月7日消息，巴克莱银行仍然预计美联储将在2月份的会议上加息50个基点，3月份加息25个基点。经济学家们认为，3月份较小幅度的加息将是对经济活动和劳动力市场放缓的越来越多证据以及通胀数据继续放缓的回应。这将使联邦基金目标区间在3月会议后达到5%-5.25%，与12月的经济预测报告中的点阵图中值相对应。然而，2月FOMC的决定仍取决于关键数据的发布，如下周公布的12月CPI。经济学家们称，展望3月份以后，他们预计FOMC将暂停加息行动，但不排除如果该委员会未能看到足够的经济放缓，会继续逐步加息的可能性。 日期： 2023-01-07 23:52...阅读全文
根据 GitLab CEO Sid Sijbrandij 在圣诞节来临之际，向开发者宣布，在 GitLab 11.8 发布时，将开源 ChatOps 功能。 GitLab ChatOps 的主要功能，就是开发者通过即使通讯平台发送命令，目前支持的平台包括 Slack 和 Mattermost 。Sid Sijbrandij 表示，GitLab 在未来也会加入 GitLab ChatOps 功能。 ChatOps 共有以下 5 大特点： 提供监测功能，配备相关的监工仪表盘，让运维人员更方便的进行鼓掌排除。支持 JQuery 指令操作，也支持输入简单的 SQL 指令。整合角色控制权限，为每个使用者配置不同的权限。不需要进行相关的设置工作，开发者开通后即可使用。ChatOps 作为平台中的功能...阅读全文
从这一过程当中汲取到经验，并在过去几次发布周期内对全部四种资源进行了针对性调整，最终使得DaemonSet与StatefulSet也加入到稳定版本队伍中来。此次发布的v1版本代表着其针对生产需求进行强化且准备就绪，拥有长期向下兼容性保证。 Windows支持（beta测试阶段） Kubernetes最初专门针对Linux系统开发而成，但随着我们的用户越来越多地意识到容器编排功能的优势，我们发现Kubernetes也确有必要运行Windows工作负载。12个月之前，我们开始认真探索Kubernetes支持Windows Server的相关工作。SIG-Windows[3]如今已经将这一功能提升至beta测试版本，意味着大家能够通过实际使用对其效果进行评估。 存储增强 自第一个版本开始...阅读全文
然避免不了，为了更加从容的应对这些故障，就搞了一个工具 Chaos Monkey 会随机停止生产环境中的虚拟机，通过观察系统在真实故障中的表现来确保程序的健壮性，也通过实战来验证各种高可用技术是否靠谱。接着冒出了 Chaos Gorilla，会停止一整个可用域中的所有机器；最后还有Chaos Kong，直接停掉一整个 Region，非常有挑战精神（丧心病狂）。 为了更好的观察系统在故障时的情况，还研发了全局可视化系统，代号 Flux，可以将整个系统的逻辑架构和各服务之间的流量可视化在大屏幕上，效果图如下： 他们每个月有一个活动：将一个 Region 里的机器全部关掉，看 Netflix 服务是否正常。有兴趣看视频的可以移步这里。 另外，Netflix 除了云服务，还有自建CDN，即 Open...阅读全文
eBPF 的程序。编写C代码，将LLVM编译成驻留在ELF文件中的eBPF字节码。将程序加载到内核中，并创建必要的 eBPF-maps。eBPF 具有用作 socket filter，kprobe 处理器，流量控制调度，流量控制操作，tracepoint 处理，eXpress Data Path(XDP)，性能监测，cgroup 限制，轻量级tunnel的程序类型。将加载的程序attach到系统中。根据不同的程序类型attach到不同的内核系统中。程序运行的时候，启动状态并且开始过滤，分析或者捕获信息。 2016年10月的NetDev 1.2大会上，Netronome的Jakub Kicinski和Nic Viljoen发表了标题为“eBPF / XDP硬件卸载到SmartNIC”。 Nic...阅读全文
Spring Cloud：Eureka注册中心，Ribbon集成REST实现负载均衡，OpenFeign声明式服务调用，Hystrix实现服务限流熔断降级和数据监控，Zuul实现微服网关，Config分布式统一配置中心，分布式链路跟踪，集成Spring Cloud实现统一整合方案虚拟化容器Docker：Docker环境搭建和使用，搭建Docker私有仓库，Docker分布式集群部署，Kubernetes简介 4. 分布式 Java并发编程和网络编程：Java线程状态，线程池，线程通信，线程安全，Netty高性能原理分布式开发框架：分布式系统口调用技术：RPC，Apache分布式系统Zookeeper原理与应用，阿里Dubbo设计思想与应用分布式中间件：分布式服务器治理，分布式消息通信，分布式数据缓存...阅读全文
以进行故障排除的二进制文件和工具。这就决定了该容器有助于提供安全可靠的运行时环境，但也很难在问题发生时进行调试。 在这种情况下，临时容器发挥作用。它们实现了调试容器附加到主进程的功能，然后你可以用于调试任何类型的问题。调试容器可以基于任何镜像，因此可以根据您的需求进行定制。您可以构建自己的调试镜像，其中包含特殊的调试二进制文件或仅包含curl，OpenSSL和MongoDB客户端之类的工具。但是，您也可以选择Linux发行版（如Ubuntu）或仅运行Busybox镜像，这两个镜像都已经包含了许多有用的工具。 如何使用临时容器？ 临时容器是alpha功能，因此默认情况下处于禁用状态。您将需要激活以下功能门才能使用它们： 临时容器 PodShareProcessNamespace（v1.16中的...阅读全文
-defaultlook，并为简单的合成器（Xfce 或 Compton），面板和其他“调整”类型更改提供了一站式服务; mx-conky 提供了一种简单编辑 conky 文件（颜色变化等）的方法; mx-network-assistant 将 mx-broadcom-manager 替换为通用网络故障排除工具; mx-tools 现在有一个更大的接口; 更新管理器（apt-notifier），包括首选项中提供的新主题; misc 更改为大多数其他 MX 应用程序 更多内容请查看 发布主页 。 下载地址：https://sourceforge.net/projects/mx-linux/files/Testing/MX17/beta1/...阅读全文
艺术作品。Debian 11 还默认搭载 Homeworld 的背景和登录屏幕。 在本次壁纸评选工作中，共精选了 18 个主题。在公开投票环节收到了 5613 个投票，并根据投票进行了排名。Homeworld 主题拔得头筹，并将在 Debian 11 中使用。 事实上，Homeworld 的创作者 Juliette Taka 此前的作品也入选 Debian，Debian 8 中的 Line 和 Debian 9 中的 SoftWaves 主题均自出她之手。...阅读全文
混沌实验场景，以及方便地将已有的混沌实验场景复用到其他应用混沌实验中，大大降低了混沌实验的成本。目前混沌实验场景提供的功能有：编排串行混沌实验编排并行混沌实验支持状态检查步骤支持中途暂停混沌实验支持使用 YAML 文件定义和管理混沌实验场景支持通过 Web UI 定义和管理混沌实验场景具体的实验场景配置，参考具体创建 Chaos Mesh Workflow。可视化操作Chaos Mesh 为用户提供了单独的 Chaos Dashboard 组件，即可视化支持。Chaos Dashboard 极大地简化了混沌实验，用户可以直接通过可视化界面来管理和监控混沌实验，仅需点一点鼠标就能够定义混沌实验的范围、指定混沌注入的类型、定义调度规则，以及在界面上获取到混沌实验的结果等。安全保障Chaos...阅读全文
，而我们也开始考虑利用基于kubectl exec构建的工具为开发人员提供支持。此次新增的kubectl debug命令（目前为alpha版）允许开发人员在集群当中轻松调试自己的Pod，进而获得巨大的便利性增益。这项命令将创建一个即席容器，容器运行在待检查Pod旁边，同时附带有控制台以执行交互式故障排查。 SIG-CLI 调试程序的能力变得越来越必要，基于 kubectl exec，增加了 kubectl alpha debug 命令（目前为 alpha 阶段），使开发人员可以轻松地在集群中调试其 Pod。此命令允许创建一个临时容器，该容器在要检查的 Pod 旁边运行，并且还附加到控制台以进行交互式故障排除。 Windows CSI 支持 带来了用于 Windows 的 CSI 代理，目前处于...阅读全文
“隐藏”和“显示”。当对索引进行隐藏时，它不会被查询优化器所使用。我们可以使用这个特性用于性能调试，例如我们先隐藏一个索引，然后观察其对数据库的影响。如果数据库性能有所下降，说明这个索引是有用的，然后将其“恢复显示”即可；如果数据库性能看不出变化，说明这个索引是多余的，可以考虑删掉。 5. 降序索引：MySQL 8.0 为索引提供按降序方式进行排序的支持，在这种索引中的值也会按降序的方式进行排序。 6. 通用表表达式(Common Table Expressions CTE)：在复杂的查询中使用嵌入式表时，使用 CTE 使得查询语句更清晰。 7. UTF-8 编码：从 MySQL 8 开始，使用 utf8mb4 作为 MySQL 的默认字符集。 8. JSON：MySQL 8 大幅改进了对...阅读全文
queuerabbitmqctl cancel_sync_queue name #取消某个queue的同步功能以上针对消息同步的命令，均可以通过监控界面来进行操作，最终也是通过这些操作命令执行。 说明：镜像队列不是负载均衡，镜像队列无法提升消息的传输效率，或者更进一步说，由于镜像队列会在不同节点之间进行同步，会消耗消息的传输效率。 对exclusive队列设置镜像并不会有任何作用，因为exclusive队列是连接独占的，当连接断开，队列自动删除。所以实际上这两个参数对exclusive队列没有意义。那么有哪些队列是exclusive呢？一般来说，发布订阅队列及设置了该参数的队列都是exclusive 排他性队列。 如何确定一个队列是不是排他性队列呢？ 如果队列的features包含Excl，就代表它是排他性队列。 镜像队...阅读全文
离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态为 STALE，这样的排靠后； Client 选取排序靠前的 DataNode 来读取 block，如果客户端本身就是DataNode，那么将从本地直接获取数据(短路读取特性)； 底层上本质是建立 Socket Stream（FSDataInputStream），重复的调用父类 DataInputStream 的 read 方法，直到这个块上的数据读取完毕； 当读完列表的 block 后，若文件读取还没有结束，客户端会继续向NameNode 获取下一批的 block 列表； 读取完一个 block 都会进行 checksum 验证，如果读取 DataNode 时出现错误，客户端会通知...阅读全文
对于云主机与云主机之间，只有轻微差异（小包场景下，pps 会有 3~5% 损耗），而且Pod网络性能各项指标(吞吐量，包量，延迟等)不会随着节点规模增大而削减。而Flannel UDP，VXLan模式和Calico IPIP的模式存在明显的性能消耗。Pod能直通公有云和物理云。对于使用公有云和物理云的用户而言，业务上K8S少了一层障碍，多了一份便利。而Flannel的host gw模式下，容器无法访问公有云和物理云主机。 而CNI的工作流程如下所示。 创建Pod网络过程： 删除Pod网络过程： Pod IP 消失问题的排查与解决 为了测试CNI插件的稳定性，测试同学在UK8S上部署了一个CronJob，每分钟运行一个Job任务，一天要运行1440个任务。该CronJob定义如下...阅读全文
被我们称之为“影子层”的地方进行——我们可以在一个非生产环境重放生产网络的流量，这样我们能够在一个非常安全的地方检测系统的稳定性和性能。我们可以像做实验那样一边加大流量一边说：“好了，我先给它（测试环境）5％的生产网络流量，然后一路增加到100%，看看会有什么发现吧。”像做A/B测试那样，我就能得到两个内核在整个实验过程中对比鲜明的数据。 我们有工具能验证内核并帮助测试上游内核。这样比较容易发现上游内核新的有意思的bug，而非只是找到已经被上游内核修复过的bug。 Linux.com：您比较担心什么问题？ Chris Mason：就运行Linux内核或者文件系统而言，我们还没遇到什么问题；况且有这么多的社区在支持Linux，我也没有必要担心什么。 Linux.com：您参与Linux开发也有...阅读全文
中小型公司，尤其是互联网行业的创业公司，本身并没有太多的技术人员，如果设计系统时需要考虑诸多的技术问题，例如 Web 应用服务器如何配置、数据库如何配置、消息服务中间件如何搭建等等，那对于他们来说人员成本、系统成本会很高，Serverless 架构的出现，让这种情况可能可以大幅度改善。 初识 Serverless？ 在目前主流云计算 IaaS（Infrastructure-as-a-Service，基础设施即服务）和 PaaS（Platform-as-a-Service，平台即服务）中，开发人员进行业务开发时，仍然需要关心很多和服务器相关的服务端开发工作，比如缓存、消息服务、Web 应用服务器、数据库，以及对服务器进行性能优化，还需要考虑存储和计算资源，考虑负载均衡和横向扩展能力，考虑服务...阅读全文
WordPress 5.0 最大的亮点就是正式引入新的基于块（block-based）的编辑器 —— Gutenberg，给用户提供更简化的编辑体验。无论是首次构建网站、修改博客还是编写代码，用户都可以更灵活地显示内容。新的 Gutenberg 编辑器不会改变访问者对你的内容的观感，它的作用是让你快速插入任何类型的多媒体并重新排列你想要核心展示的内容。每块内容都在自己的块中，有单独的封装，便于操作。 WordPress 默认提供大量的块，而且社区也在不断添加新的块。 这种全新的编辑体验为设计和内容提供了更加一致的处理。如果你正在构建 client 站点，则可以创建可重用的块，这有益于你的客户随时添加新内容，同时仍保持一致的外观。 此外，WordPress 5.0 还引入了新的默认主题...阅读全文
functions, modules 和其他功能。 ISO C++标准委员会主席 Herb Sutter 还介绍了 C++23 的相关会议和进度表，从11月开始将开始召开虚拟会议，以正式批准对 C++23 工作文件的更改，包括潜在的新功能。 C++23 进度表和优先级安排 C++23 schedule (P1000R4)C++23 priorities (P0592R4)...阅读全文
Debian 系统安装以后，可能会遇到网卡设备名不是常见的 eth0 的情况。我们有没有办法统一网卡设备名称呢？ 在服务器环境中，统一网卡设备名是很有必要的。标准化的配置会节省我们大量的时间，这些时间可能会花在排障、监控的配置、状态收集脚本的调整等。 这里我们介绍如何把 Debian 系统中的网卡从非 eth0，调整为 eth0，这个设备名是各 Linux 系统中比较通用的网卡设备名。下面我们以设备名 ens3 为例，介绍在Debian 系统中，如何修改网卡设备名为 eth0 的具体步骤。 首选，我们需要编辑 grub 的配置文件，修改启动参数。使用编辑器打开 /etc/default/grub， 查找： GRUB_CMDLINE_LINUX="" 找到这行，并修改为...阅读全文
# PostgreSQL 增量同步方案详细设计 ## 一:方案目的 通过PG实例的增量数据同步方案,解决PG在数据迁移中需要进行全量同步,需要长时间停服务的问题. 通过该方案,打通PG和其他数据产品间的数据通道,做到PG和其他数据产品和异构数据库间的实时的同步. ## 二:增量同步方案的技术背景 该方案基于PostgreSQL 9.4版本的逻辑流复制技术. PG9.4 可以做到,利用逻辑流复制,把表的增量数据,以自定义格式的形式组织起来被客户端订阅. 自定义格式的增量数据是逻辑流复制的关键,通过PG内核给出了开放的接口(5个回调函数),可以把增量数据以任意的形式输出. PG的客户端根据需要按照服务端规定的格式解析,就能得到完整的增量数据. ## 三:订阅增量数据的订阅规则 PG增量同步方案...阅读全文
在今年 10 月份，深圳支流科技把微服务网关 APISIX 贡献给 Apache 基金会后，过了仅仅一个多月的时间，Apache APISIX 发布了一个新的版本 0.9。 Apache APISIX 的 0.9 版本，是经过 APISIX 开发者社区和 Apache 孵化器社区投票发布的官方版本，企业和个人用户都免费使用。 Apache APISIX 进入 Apache 孵化器的这一个多月的时间里，代码贡献者从 27 人增加到 45 人，几乎每个工作日都有新的贡献者加入；新合并的 PR 有 82 个，平均每个工作日有 3 个 PR 合并；使用的公司包含了贝壳找房、腾讯云、网易、NASA等知名企业和科研机构， Apache APISIX 是微服务 API 网关，不仅可以帮你处理传统的南北向...阅读全文
FFmpeg 是一款流行的多媒体框架，可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec 里很多 codec 都是从头开发的。 还值得一提的是，ffmpeg 转换多媒体文件提供了 FFmpeg 工具，ffserver 流工具，基于 SDL 和 FFmpeg 库和 ffprobe 多媒体码流分析仪 ffplay 媒体播放器。 最新的版本是ffmpeg 3.3.4 "Hilbert", 软件库的版本如下， libavutil 55. 58.100 libavcodec 57. 89.100...阅读全文
拍摄的截图（Justin Paine 在博客中展示了一些处理过的图片）。我们将根据相关法律法规采取适当行动，并将继续采取积极主动的安全措施，以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数： 2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1...阅读全文
，CPU持续上升到99% 5分钟内，大量应用报警，并且拒绝服务，RDS的监控显示出现大量慢SQL，联系服务器数据库提供商进行协助 8分钟内，进行数据库主备切换（业务会受损，但是也没办法，没有定位到问题） 9分钟内，部分业务恢复，但是一些业务订单的回调消息堆积超过20w，备库的CPU使用率也持续上升 15分钟内，备库CPU使用率超过97%，业务再次中断，进行切回主库，并进行限流 20分钟内，关闭一些次要应用的流量入口 25分钟内，主库CPU使用率恢复正常 30分钟内，逐步开启关闭的限流应用 35分钟内，所有应用恢复正常 接下来就是与服务器数据库提供商成立应急小组紧急优化可能出现的慢SQL，虽然说可能解决了一些慢SQL，但此次并没有定位到具体的问题，也就为几天后再次发生宕机事件埋下了伏笔 事故影响 某...阅读全文
Istio 1.2.0 已发布，距上一个重要版本 1.1 发布过去刚好三个月。更新的内容主要有以下这些。 General 添加了 traffic.sidecar.istio.io/includeInboundPorts 注解以消除服务所有者在部署 yaml 文件中声明 containerPort 的需要。这将成为未来版本的默认设置。为 Kubernetes 集群添加了对 IPv6 的实验性支持 Traffic Management 在多集群环境中改进基于 基于位置的路由改进 ALLOW_ANY 模式 下的出站流量策略。现有端口上未知的 HTTP/HTTPS 主机流量将按 原样转发 。Envoy 访问日志将记录未知流量。添加了对上游服务设置 HTTP 空闲超时的支持改进了对 NONE 模式...阅读全文
Consul 1.6.0 已于近日 发布 GA 版本 ，Consul 是 HashiCorp 公司推出的开源工具，也是主流的用于实现分布式系统服务发现与配置的方案。HashiCorp 对 Consul 的介绍是一个多云服务网络平台，用于在跨任何运行时平台和公共云或私有云的场景连接和保护服务。 本次更新主要集中在 Consul Connect（为其增加了一些主要新特性）和 Consul 的服务网格解决方案方面，此外还有一些改进和错误修复。 Consul 1.6 新特性 支持对 L7 层的流量管理 。1.6 使用了新的配置条目类型，可为服务到服务（service-to-service）的请求启用高级流量管理模式。其他配置条目类型如服务解析器、服务隔离器以及服务路由器通过高级服务故障转移和部署模...阅读全文
Keep是一款功能强大的开源告警管理和AIOps平台，它专注于帮助开发和运维团队更高效地处理告警问题。该平台提供了集中式的仪表板界面，支持与Prometheus、Grafana、Datadog、Slack等主流监控工具和通信平台的双向集成。 平台的一大特色是支持通过YAML文件声明式地定义工作流，用户可以轻松配置告警的触发条件、处理步骤和响应动作，实现告警处理的自动化。同时，Keep采用API优先的设计理念，开发者可以直接通过代码管理工作流，便于与现有系统无缝集成。 值得一提的是，Keep正在积极开发AI关联和AI摘要等智能化功能，未来将进一步提升告警处理的智能化水平，帮助团队更好地降低告警噪音，提升运维效率。这些特性使Keep成为一个极具前景的开源运维工具。...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
