开源正在改变网络，但是由于项目太多，协调性太差，导致了整个生态系统不协调。以 Linux 基金会为首的开源平台，以及开放网络自动化平台（ONAP），NFC（OPNFV）开放平台，OpenDaylight，FD.io，PNDA和流媒体网络分析系统（SNAS）聚集在一起，创立了用于跨项目合作的 LF Networking Fund (LFN) 。他们共同协调了软件定义网络（SDN）和网络功能虚拟化（NFV）。 LFN 需要做的是提供项目之间的合作渠道，以及相关项目和整个社区的生态系统平衡。LFN平台将弥补方案之间的差距，促进跨项目协作。 Linux 基金会网络和编排总经理 Arpit Joshipura 的说道：“以Linux的云本地计算基金会（Cloud Native Computing...阅读全文
frp是一个使用go语言开发的反向代理服务，可用于内网穿透，支持tcp, udp协议，为http和https协议提供了额外的能力，且尝试性支持了点对点穿透。 由于ngrok 2.x已经闭源，ngrok 1.x已不再维护，所以这里尝试使用frp替代ngrok作为个人的内网穿透工具。 0.前提条件 一台Linux云主机(这里是CentOS 7），并要求具有固定公网IP暴露这台云主机指定端口的能力 有一个域名解析到这个公网IP，如frp.frognew.com和*.frp.frognew.com解析到这个公网IP 1. 下载frp服务端frps和客户端frpc可执行文件 分别在服务器和个人本地机器上，从[https://github.com/fatedier/frp/releases]下载对应平...阅读全文
在各个垂直领域中，涌现出许多具有代表性的大模型，它们在特定领域展现出强大的性能和潜力。以下是一些例子： 医疗领域： BioBERT: 这是一个专门为生物医学文本设计的BERT模型。它在生物医学命名实体识别、关系抽取等任务上表现出色，为医学研究和临床应用提供了有力支持。 PubMedBERT: 这是一个基于PubMed文献训练的BERT模型。它在医学文本理解和生成方面具有优势，可以用于医学问答、摘要生成等任务。 金融领域： FinBERT: 这是一个为金融领域设计的BERT模型。它在金融文本情感分析、风险评估等方面表现出色，为金融决策提供了参考。 BloombergGPT: 这是一个由彭博社训练的大型语言模型。它在金融新闻生成、市场预测等方面具有潜力，可以为金融从业者提供...阅读全文
Debian 的 1011 位开发人员中，有 339 位在今年的选举中投了赞成票，参与人数与往年差不多，且相比几年前票数还略有提高。 具体的投票过程与结果分析查看：https://www.debian.org/vote/2020/vote_001 新当选的 Jonathan Carter 在竞选“宣言”中写下了几个大目标： 继续做 Debian 做得好的事情。技术卓越、推广自由软件、分发新版本、稳定的版本更新。使 Debian 对贡献者有吸引力。使它成为一个有趣、有意义和受欢迎的项目，让更多贡献者有意愿参与进来。更好地了解正在完成的工作。减少影响贡献者的瓶颈。收集有关阻碍个人在 Debian 中所做的事情的反馈，并找到减少这种摩擦的方法。改善在线协作。改善项目内务管理。关于支出和可用资金，具有更好的可...阅读全文
布节奏的变化支付支持费用，而 19％ 的受访者则表示会考虑这种可能性。 不过在目前愿意支付支持费用的企业中，Oracle 仍然是赢家，占有 55 ％的市场份额。红帽（17％）、IBM（16％）和 Azul（12％）则紧随 Oracle 之后。 Snyk 在其 2020 年 JVM 生态系统报告中指出，“当开发人员选择支付 JDK 支持费用时，Oracle 仍然是明显的赢家，而其他三个供应商则平等地分享了其余市场。回想起来，这意味着，如果只有 9％ 的开发人员为 JDK 支持付费，则向 Oracle 付费的开发人员总数为 5 ％，即 20 个开发人员中就有 1 个。”...阅读全文
对于云主机与云主机之间，只有轻微差异（小包场景下，pps 会有 3~5% 损耗），而且Pod网络性能各项指标(吞吐量，包量，延迟等)不会随着节点规模增大而削减。而Flannel UDP，VXLan模式和Calico IPIP的模式存在明显的性能消耗。Pod能直通公有云和物理云。对于使用公有云和物理云的用户而言，业务上K8S少了一层障碍，多了一份便利。而Flannel的host gw模式下，容器无法访问公有云和物理云主机。 而CNI的工作流程如下所示。 创建Pod网络过程： 删除Pod网络过程： Pod IP 消失问题的排查与解决 为了测试CNI插件的稳定性，测试同学在UK8S上部署了一个CronJob，每分钟运行一个Job任务，一天要运行1440个任务。该CronJob定义如下...阅读全文
bytes, 0 allocs init errors @0.22 ms, 0.004 ms clock, 0 bytes, 0 allocs init strconv @0.24 ms, 0.002 ms clock, 32 bytes, 2 allocs init sync @0.28 ms, 0.003 ms clock, 16 bytes, 1 allocs init unicode @0.44 ms, 0.11 ms clock, 23328 bytes, 24 allocs ... 主要作用是 init 函数跟踪的支持，以用于 init 调试和启动时间的概要分析，算是一个 GODEBUG 的补充功能点。 简化结构体标签 在 Go 语言的结构体中，我们常常会因为各种库的诉求，需要对结构体的...阅读全文
设置 completionMode: Indexed。TopologyAwareHints Alpha服务拓扑（Service Topology）在 Kubernetes v1.21 中已弃用，并将在 v1.22 中删除。Kubernetes v1.21 新增的拓扑感知提示提供了类似的功能。该特性开启后，EndpointSlice 控制器将填充 EndpointSlice 中每个 Endpoint 上的提示字段，以将其分配到一个区域。然后，诸如 kube-proxy 这样的组件在配置请求路由时就可以使用这些提示。其他需要留意的新特性CronJob 进入稳定版本，已有用户注意切换 API 版本到 apiVersion: batch/v1。Sysctls 进入稳定版本，用户终于有一个稳定的...阅读全文
项来向 API 服务器添加自定义业务逻辑在对象创建的时候进行更改，以及验证策略。 对于联合的集群，引入了基于策略的联合资源放置（Policy-based Federated Resource Placement），处于alpha状态，其基于自定义的要求如规则、定价或者性能。 废弃： 第三方资源（Third Party Resource，TPR）已经被自定义资源定义（Custom Resource Definition，CRD）取代，后者的API更加简洁，并且解决了 TPR beta 测试时出现的问题和边缘场景。鼓励从 TPR 迁移到 CRD，因为Kubernetes 1.9中社区会去掉TRP。 上面就是 Kuberenetes 1.7 关键特性的一部分。完整的列表可以查看发布说明。 采用 感...阅读全文
Kibana，是一种可视化工具（Web 界面） Datadog Datadog 是针对云规模应用程序的监视服务，可通过基于 SaaS 的数据分析平台来监视服务器、数据库、工具和服务。 Datadog Application Performance Monitoring（APM 或跟踪）可与你的日志和基础架构监视器并用，提供自动生成的仪表板（用于监视关键指标，如请求量和延迟）乃至单个请求的跟踪细节，帮助你深入了解应用程序的性能表现。 应用程序收到请求时，Datadog 可以在整个分布式系统上查看跟踪，并向你显示关于该请求状况的详细系统数据。 New Relic New Relic 是一家位于加州旧金山的技术公司，致力于开发基于云的软件，以帮助网站和应用程序所有者跟踪服务性能。 New Relic 开发的...阅读全文
Chaos Mesh 的基本功能，包括故障注入、混沌实验场景、可视化操作、安全保障。故障注入故障注入是混沌实验的核心。Chaos Mesh 充分考虑分布式系统可能出现的故障，提供全面、细粒度的故障类型，分为基础资源类型故障、平台类型故障和应用层故障三大类。基础资源类型故障：PodChaos：模拟 Pod 故障，例如 Pod 节点重启、Pod 持续不可用，以及特定 Pod 中的某些容器故障。NetworkChaos：模拟网络故障，例如网络延迟、网络丢包、包乱序、各类网络分区。DNSChaos：模拟 DNS 故障，例如 DNS 域名解析失败、返回错误 IP 地址。HTTPChaos：模拟 HTTP 通信故障，例如 HTTP 通信延迟。StressChaos：模拟 CPU 抢占或内存抢占场景...阅读全文
Kinsella）曾经创办帮助企业优化云计算部署的科技公司“云健康”，公司后来被虚拟机巨头VMware并购。金塞拉分析称，在AWS的数百万客户中，营收和利润并未均匀分布。如果两成的客户贡献了八成的收入，那么主要的盈利来自于剩下的八成客户，他们主要是中小企业。需要指出的是，云计算大客户往往能够获得不菲的折扣。贝尔斯登公司预测，在2019年，亚马逊云计算已经实现了61%的总体毛利率。对于本报道，亚马逊官方目前并未发表评论。核心计算：EC2美国科技行业观察人士哈瓦·苏里（Bhavan Suri）表示，EC2（亚马逊弹性计算云，是一个让使用者可以租用云端电脑运行所需应用的系统）是亚马逊云计算最古老的产品，是毛利润和运营利润的发动机。苏里表示，EC2服务的毛利率应该在50%左右。迄今为止，亚马逊并未提供各个云计算产...阅读全文
价格低廉、基于手机的拉曼光谱仪系统可在几分钟内识别未知的生物分子。 由德克萨斯农工大学 Peter Rentzepis 博士申请专利的新型手持式拉曼光谱仪系统可利用手机摄像头和激光技术的结合，对有害化学物质和材料进行非侵入式鉴定。 这种设备比传统光谱仪便宜得多，速度也快得多，可用于偏远地区进行快速现场分析。 https://www.cnbeta.com.tw/articles/science/1439072.htm...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
多的细节。 虽然移除SHA-1支持早已进入倒计时阶段，但是安全公司Venafi的研究人员发现，在一千一百万个可访问的网站中，有35%的网站依然在使用SHA-1认证。 我们的分析结果清晰地表明，虽然很多最热门的网站已经移除了SHA-1认证，但是仍有大部分网站在使用SHA-1认证。据Netcraft在2016年9月所做的Web服务器调查显示，当前有超过一亿七千三百万的活跃网站。从我们的分析结果推断，其中可能至少会有六千一百万个网站依然在使用这类认证。 早在11年前，SHA-1加密算法就被发现是脆弱的，近期的发现进一步表明SHA-1比我们之前想象的还要脆弱。这主要是因为GPU的最新进展使得碰撞攻击在不久的将来成为可能。 逐步停止对SHA-1支持的决策最早是由Google在2014年末提出的，很快...阅读全文
能够统一面向多个接入口进行自动化操作的定义与管理。 在本次峰会之前，红帽的 Linux发行版RHEL OpenStack发行版RDO OpenShift（Kubernetes） 存储产品Cepht与Gluster 已经与Ansible集成。本次峰会上，红帽又发布了Red Hat Insights（红帽的监控预警产品）和CloudForms与Ansible的集成。 为什么是Ansible？ 其中一个很重要的原因在于，Ansible连不懂技术的业务人员也可以拿来用。甚至可以这么说：任何一个能够阅读英文的人都能看懂Ansible Playbook的用法。红帽认为Ansible代表了自动化的未来，在此投入了大量研发力量与资源。 2、Red Hat Insights作为统一的数据分析层 Red Hat...阅读全文
SwitchHosts 是一个用于快速切换本地 hosts 文件的小程序，便于开发人员快速修改测试域名的解析记录。SwitchHosts 基于 Electron 开发，同时使用了 React、Ant Design 以及 CodeMirror 等框架/库，项目主页为 https://oldj.github.io/SwitchHosts/。 SwitchHosts 主界面 SwitchHosts 功能特性 快速切换本地 hosts 文件hosts 文件语法高亮在线 hosts 方案系统托盘图标快速切换macOS: 支持 Alfred workflow 快速切换 下载安装 switchhosts 你可以直接下载源码到本地运行或编辑，或者在下面下载可执行版本： SwitchHosts! 下载地址1...阅读全文
服务化项目服务不可用几十分钟，造成订单数减少几十万笔，损失百万资金。 原因分析 当时是没有定位到具体的原因的，但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快，在高峰期，数据库QPS突破35000，系统处于高负荷状态。 在高峰期如果同时执行几个全表扫描的SQL，会造成数据库压力急剧上升，应用超时增多，前端应用超时，用户重试，流量飙升，形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差，并且使用的主库，对数据库影响较大。数据库QPS太高，但是缓存方案因为人手原因一直没有落地，慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个数据库账号，严格按照规范使用 缓存优化方案即时落地，慢SQL问题优先处理，集中处理目前已经发现的慢SQL（查询时间超过1S...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
。其结果应该是，那些比较传统的公司的开发人员可以获得与其他公司使用云原生方法的开发人员一样的好处。希望这些实施方案能够帮助开发人员提高生产力，并且他们乐意留在这些公司，而不是转到其他岗位。 基于云的机器数据分析公司 Sumo Logic 的首席产品经理兼开源大使 Frank Reno 认为，开发人员是开源快速增长的因素之一。开发人员都希望在一个社区中与他人一起工作，与更大的团队合作，为更大的项目做出贡献。“特别是在 COVID-19 期间，我们不像以前那样紧密。因此，我们所能做的任何事情都是为了培养更好的体验，无论是对个人开发者还是一群开发者，都有很大的帮助。每个供应商和每个客户都应该认识到开发人员的重要性。” 为了达到这一目的，DataStax 战略副总裁 Bryan Kirschner 则...阅读全文
7.2.X 更新至 7.2.24 https://github.com/php/php-src/releases/tag/php-7.2.24将 PHP 7.3.X 更新至 7.3.11 https://github.com/php/php-src/releases/tag/php-7.3.11 关于漏洞的详细分析可查看 https://paper.seebug.org/1063/。...阅读全文
9 月 8 日，字节跳动正式宣布开源 CloudWeGo。这是一套以 Go 语言为核心、专注于微服务通信与治理的中间件集合，具有高性能、可扩展、高可靠的特点。 据介绍，作为项目维护方，字节跳动基础架构团队已推进项目以 CloudWeGo 开源库为主进行迭代，未来团队将坚持内外维护一套代码，统一迭代演进，并逐步分享更多内部微服务最佳实践。 项目地址：https://github.com/cloudwego 项目官网：www.cloudwego.io CloudWeGo 第一批开源了四个项目，以 RPC 框架 Kitex 和网络库 Netpoll 为主。 Kitex Kitex 是一个 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点。 字节跳动使用 Golang 作为主要业务开...阅读全文
结果发布到IM中，比如 HipChat、JIRA 或者 Slack 等。 自动修复 - 识别和验证OpenStack计算节点上的硬件故障，正确排空实例并向管理员发送关于潜在停机时间的电子邮件，但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试，配置新的AWS群集，基于NewRelic的应用程序性能数据，打开负载均衡器的一些流量，以及前滚或回滚。 Stackstorm工作原理 主要组件角色： 传感器（Sensors） 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由传感器处理时，StackStorm触发器将发射到系统中。 触发器（Triggers）外部事件的StackStorm表示形式...阅读全文
Redis 6 是有史以来改变最大的 Redis版本，因此即使稳定，也要小心处理，并在投入生产之前对其进行测试，以进行工作量测试。到目前为止，我们从未发现重大问题，但请务必小心。在收集错误报告时，我们将准备尽快发布Redis 6.0.1。 变化如下：除了稳定性之外，RC1和今天之间还有什么变化？ 1. 在某些方面对客户端缓存进行了重新设计，尤其是放弃了缓存插槽方法，而只使用键名。在分析了替代方案之后，在其他Redis核心团队成员的帮助下，这种方法最终看起来更好。除此之外，尤其是“广播模式”，我相信它将成为该功能最流行的使用模式之一。 使用广播时，服务器不再尝试记住每个客户端请求的密钥。相反，客户端订阅密钥前缀：每当与该前缀匹配的密钥被修改时，它们就会收到通知。这意味着可广播更多消息（但仅适...阅读全文
Cortex-M33 CPU 开始使用。这将使得 Arm 客户能够向基于 Cortex-M 的 IoT CPU 添加自定义指令，以针对特定市场量身定制芯片。 Dirvin 说到：“例如，有些数学算法是重复的。如果我们要使用一块硅存储片来维护它，那么拥有一条指令将会非常好。但这与 Arm 想要的不符。不过现在使用自定义指令后，我们的合作伙伴将能够针对该市场专门对芯片进行优化。” 为此，许多行业从业者和分析家将 Arm 的这些声明视为对 RISC-V 日益严峻挑战的回应。由于 RISC-V 具有相当吸引人的优势 —— 高度的自由性、轻量级和可扩展性，它已引起 NVIDIA 和 Qualcomm 等技术巨头的广泛关注。 Dirvin 则强调，即使没有 RISC-V 的兴起，Arm 也会推出其政策变更。“创新...阅读全文
方法论，就是关于人们认识世界、改造世界方法的经验性的理论，它是一种以解决问题为目标的体系或系统，通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、总结并最终提出较为一般性的原则。 这里汇总介绍几种方法论。 吉德林法则 美国通用汽车公司管理顾问查尔斯·吉德林提出：把难题清清楚楚地写出来，便已经解决了一半。只有先认清问题，才能很好地解决问题。这种观点在管理学上被称为吉德林法则。 墨菲定律（Murphy's Law） 主要内容有四个方面：一、任何事都没有表面看起来那么简单；二、所有的事都会比你预计的时间长；三、会出错的事总会出错；四、如果你担心某种情况发生，那么它就更有可能发生。 彼德原理 每个人在层级组织里都会得到晋升，直到不能胜任为止。换句话说，一个人...阅读全文
用 proc 输入模块运行 bmon： $ bmon -i proc -p enp1s0 如何使用 bmon 输出模块 bmon 也使用输出模块显示或者导出上面输入模块收集的统计数据，输出模块包括： curses - 这是一个交互式的文本用户界面，它提供实时的网上估计以及每个属性的图形化表示。这是默认的输出模块。 ascii - 这是用于用户查看的简单可编程文本输出。它能显示网卡列表、详细计数以及图形到控制台。当 curses 库不可用时这是默认的备选输出模块。 format - 这是完全脚本化的输出模式，供其它程序使用 - 意味着我们可以在后面的脚本和程序中使用它的输出值进行分析。 null - 停用输出。 像下面这样通过 help 选项获取更多的模块信息。 $ bmon -o...阅读全文
本文大部分内容翻译总结自《Software Engineering at Google》 第10章节 Documentation。 另外，该书电子版近日已经可以免费下载了 https://abseil.io/resources/swe_at_google.2.pdf，有兴趣的同学可以下载翻阅下。 首先声明，本问所说的文档不仅限于纯文本文档，还包含代码注释(注释也是一种特殊形式的文档)。 ## 文档的重要性 ## 高质量的文档对于一个组织或团队来说有非常多的益处，比如让代码和API更容易理解、错误更少；让团队成员更专注于目标；也可以让一些手工操作更容易；另外如果有新成员加入的话有文档也会让他们更快融入…… 写文档有比较严重的收益滞后性，不像测试，你跑一个测试case，它能立即告诉你是对还是错...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
Kubernetes 中， pod 从创建到成功运行会分别处于不同的阶段，每个阶段又分为不同的状态，本文将简单介绍这个环节。 在 K8S 源码中，使用了 PodPhase 这个变量定义这几个阶段信息，如下图所示： 运行中（PodRunning）：该 Pod 已经绑定到了一个节点上，Pod 中所有的容器都已被创建。至少有一个容器正在运行，或者正处于启动或重启状态。等待中（PodPending）: 创建 Pod 的请求已被 Kubernetes 系统接受，但有一个或者多个容器镜像尚未创建。可能的原因有，写数据到etcd，调度，pull镜像，启动容器这四个阶段中的任何一个阶段，pending 伴随的事件通常会有：ADDED, Modified这两个事件的产生。等待时间包括调度 Pod 的时间和下...阅读全文
安全研究员从内核发现的 bug 数量这一角度认为 BSD 正在死亡。安全公司 IOActive 负责渗透测试的总监 Ilja von Sprundel 分析了 BSD 的源代码，从 3 大 BSD 发行版发现了 115 个内核 bug，其中 FreeBSD 有 30 个，OpenBSD 有 25 个，NetBSD 有 60 个，大部分 bug 被认为是非常容易发现的。 他报告了这些 bug，但六个月后许多 bug 仍然没有修复。 Linux 内核的 bug 通常存在的时间很短，很快就会修复，但 BSD 的情况不是如此，许多 bug 已经存在了十年甚至更长时间。von Sprundel 特别称赞了 OpenBSD 的代码质量。 【原文来自 CSOOnline】...阅读全文
域名，是用以简化记录服务器IP地址的马夹，所以，域名只有通过解析到具体的IP地址才能访问网站，就相当于给IP地址穿上的一件马夹，避免我们去记那一长串的数字。可以说，域名的价值是依托于服务器的，没有域名的服务器，可以用IP地址访问，而不解析的域名，就仅仅只是一串字符而已。 商标，是用以区分商品(或服务)来源的一种显著标志，不同公司提供的相同商品，对于大众而言，商品上印刷的标志，代表的就是不同公司。商标的价值，是依托于产品和公司的。 由这一点来看，商标和域名是有其相似性的，广义上来说，它们都是一种指代的符号而已。 但是，域名由于其技术特性，它是虚拟的和全球唯一的，同样的域名不可能同时被两个人注册，它遵循着先注先得的原则，而商标，则允许在不同领域，由不同的人持有相同的商标，比如中国的“中华...阅读全文
云原生技术的不断发展，2018年，CNCF扩展了云原生技术的定义，以下是云原生技术的新定义：“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段，云原生技术使工程师们能够轻松地对系统作出频繁和可预测的重大变更。”其中，像容器，微服务等概念早已深入人心，而很多开发人员都对此次提及的“不可变基础设施”这个概念有不少疑惑，下文将对这个概念进行解析。其实不可变基础设施这个概念由来已久，并在不同的场合被很多技术专家已不同的形式提出并讨论过, 例如：“Trash Your Servers and Burn...阅读全文
数据也是在三个节点之间同步，但 Queue 的实际存储只会在一个节点。我们发送消息到指定 Queue，其实是发送消息到指定节点下的 Queue。如下图所示，消息发送至队列 testQueue，无论发送者通过哪个 RMQ 节点执行发送，其最终的执行都会是在 MQ03 节点执行消息的存储。 说到这儿，可能有的小伙伴就要问了？说好的，RabbitMQ 集群提供高可用性呢？分析一下，RabbitMQ集群搭建完成后，如果不进行任何高可用配置，会有哪些问题呢？ 单点故障会导致消息丢失：如果 MQ03 节点故障，那么 MQ03 中的消息就会丢失无法最大化的利用 RMQ 提升执行效率：既然每次发送到队列 testQueue 的消息都会在 MQ03 节点存储，那么何必搭建集群。 引入 RabbitMQ 的镜像...阅读全文
kubernetes 中的垃圾回收机制主要有两部分组成：一是由 kube-controller-manager 中的 gc controller 自动回收 kubernetes 中被删除的对象以及其依赖的对象；二是在每个节点上需要回收已退出的容器以及当 node 上磁盘资源不足时回收已不再使用的容器镜像；本文主要分析 kubelet 中的垃圾回收机制，垃圾回收的主要目的是为了节约宿主上的资源，gc controller 的回收机制可以参考以前的文章 garbage collector controller 源码分析。kubelet 中与容器垃圾回收有关的主要有以下三个参数:--maximum-dead-containers-per-container: 表示一个 pod 最多可以保存多少个...阅读全文
系统解析JDK源码，领略大牛设计思想，JAVA面试必备 download：https://www.51xuebc.com/thread-555-1-1.html Vue3实战商城后台管理系统开发示例 Vue是一款流行的JavaScript框架，它可以帮助我们快速构建高效、可维护、易用的Web应用程序。在本文中，我们将介绍如何使用Vue3来开发一个商城后台管理系统。 技术栈选型 在开始开发之前，我们需要选择合适的技术栈。以下是我们所采用的技术： Vue.js 3：Vue.js 3是Vue框架最新版本，它具有更好的性能、更好的TypeScript支持、更好的响应式系统等特点，可以提高开发效率和应用性能。 Element Plus：Element Plus是一套基于Vue3的UI组件库，提供了丰...阅读全文
拖再拖。我举一个典型的例子：rsync，其维护者完全出于个人的喜好拒绝我的补丁包使用debhelper。 赋予个人维护者如此大的自由，导致我们无法开展提高构建Debian软件包抽象级别的项目，这反过来又让工具更加困难。 更好的方式是什么？ 作为一个项目，我们应该努力实现更多的统一。统一性并不能完全去除实验，它只是改变了两者的平衡，从简单的实验和难度较高的自动化变成了难度较高的实验和简单的自动化。我们的文化需要从“这个包归我管，你不能碰”转变为共同的所有权意识，项目中的任何人都可以很容易地贡献（经过审查的）变更，而不必凡事都要通过个人维护者。 支离破碎的工作流程和基础设施 Debian似乎更倾向于采用分散式的方法，而不是集中式的方法。例如，每个包都保存在单独的代码库中（而不是在一个统一的代码库...阅读全文
户设计 pipeline 的灵活度，但 graph 框架也同时带来下列缺点： 引入潜在内存安全风险 复杂的代码逻辑，需要大量的测试工作 初学者学习曲线陡峭 总体而言，与传统的 pipeline 模式相比，graph 框架也会出现 tradeoff。使用者需要考虑其业务逻辑的复杂程度，才能有计划地设计出可管理的 graph pipeline。graph 模型更适用于 pipeline 比较复杂的场景。有兴趣的读者可以持续关注后期即将发布的《DPDK Graph Pipeline 框架示例和性能分析》，以更好地理解 DPDK libgraph 的性能和实际用途。...阅读全文
了。 事实上，iQUIC 当前的 ‘短报文头’ 被用于除了握手外的所有包，仅公开一个包编号、一个可选的连接标识符和一个状态字节，像加密密钥轮换计划和包字节（它最终也可能被加密）。 其它的所有东西都被加密 —— 包括 ACK，以提高 通讯分析 攻击的门槛。 然而，这意味着通过观察连接来被动估算 RTT 和包丢失率将不再变得可行；因为没有足够多的信息。在一些运营商中，由于缺乏可观测性，导致了大量的担忧，它们认为像这样的被动测量对于他们调试和了解它们的网络是至关重要的。 为满足这一需求，它们有一个提议是 ‘Spin Bit’ — 这是在报文头中的一个回程翻转的位，因此，可能通过观察它来估算 RTT。因为，它从应用程序的状态中解耦的，它的出现并不会泄露关于终端的任何信息，也无法实现对网络位置的粗略估...阅读全文
分配器在固定大小的内存池中可实现即时内存分配，这能够显著减少创建一个会话的时长； 6，树型存储：侧重于使用作者多年前开发的弹性二叉树，实现了以O(log(N))的低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列； 7，优化的HTTP首部分析：优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域； 8，精心地降低了昂贵的系统调用，大部分工作都在用户空间完成，如时间读取、缓冲聚合及文件描述符的启用和禁用等； 所有的这些细微之处的优化实现了在中等规模负载之上依然有着相当低的CPU负载，甚至于在非常高的负载场景中，5%的用户空间占用率和95%的系统空间占用率也是非常普遍的现象，这意味着HAProxy进程消耗比系统空间消耗低20倍以上。因此，对OS进行性能调优是非常重要的...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
昨天，Apache Kafka 3.0 版本正式发布，这是一个涉及多方面的大版本。在这个版本中，Apache Kafka 3.0 引入了各种新功能、突破性的 API 更改以及对 KRaft 的改进：Apache Kafka 的内置共识机制将取代 Apache ZooKeeper™。虽然 KRaft 尚未被推荐用于生产（已知差距列表），但我们对 KRaft 元数据和 API 进行了许多改进。Exactly-once 和分区重新分配支持值得强调，我们鼓励开发者查看 KRaft 的新功能并在开发环境中试用它。并且，从 Apache Kafka 3.0 开始，生产者默认启用最强的交付保证 ( acks=all, enable.idempotence=true)，这意味着用户现在默认获得排序和持久性...阅读全文
，该公司以其目前的形式既不会繁荣，也不会为这种社会需要服务。Twitter需要作为一家私营公司进行转型"。 在周五提交的一份美国证券交易委员会文件中，马斯克阐述了他为这笔交易筹资的计划，其中包括250亿美元的贷款和220亿美元的个人股权。分析师认为，这些贷款可能使Twitter每年的服务成本高达10亿美元，或约占该公司年收入的20%。 在马斯克宣布收购计划后不久，Twitter的董事会曾制定了一项"毒丸"措施，表明它打算抵制马斯克的收购。目前还不清楚是什么导致该公司改变了主意。纽约时报》周一的一篇报道描述了Twitter员工对这一消息的分歧，他们几乎没有收到有关正在进行的谈判的信息。 目前还不清楚马斯克将对Twitter产生什么影响，或者他将从哪里开始改变Twitter。当...阅读全文
性： 服务发现： 支持 DNS 与 RPC 服务发现，也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。 服务健康监测： Nacos 提供对服务的实时的健康检查，阻止向不健康的主机或服务实例发送请求。 动态配置服务： Nacos 提供配置统一管理功能，能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。 动态 DNS 服务： Nacos 支持动态 DNS 服务权重路由，能够让我们很容易地实现中间层负载均衡、更灵活的路由策略、流量控制以及数据中心内网的简单 DNS 解析服务。 服务及其元数据管理： Nacos 支持从微服务平台建设的视角管理数据中心的所有服务及元数据，包括管理服务的描述、生命周期、服务的静...阅读全文
理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考： Linux 内存机制 Mem：表示物理内存统计。 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。 Mem 行(第一行)数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未...阅读全文
有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为，改善用户体验，将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上，并通过Hadoop进行分析、生成日常报告。 流处理：保存收集流数据，以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理，汇总，扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文
数。从而达到“写资源”合理利用的效果。然而，free命令所展示的buffer和cache 有点狭义的意思——free展示的buffer表示 块设备所占用的缓存 、free展示的cache表示普通文件占用的the page cache(缓存页) 。总之，buffer和cache使用的内存都是用来加速Linux读写性能，如果有新的进程需要内存，系统会将buffer和cache占用的内存回收，并重新分配给进程使用。2.4 其他内存概念RSS & VSZ & PSS & USSRSS(Resident Set Size)：进程实际使用的物理内存大小，包括sharedMem。VSZ(Virtual Memory Size)：进程所有能够访问到的内存大小，包括因为缺页中断，被swap出去的内存大小，以及...阅读全文
由于人工智能 / 机器学习日益集成到应用和业务流程中，因此生产级机器学习模型需要更多可扩展的基础设施和计算能力，以用于训练和部署。 现代机器学习算法在大量数据上进行训练，并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈，包括可提供的 CPU、GPU 和存储的数量，而且对于这种类型的模型，已经证明效率并不高。更为高效的并行处理算法，例如异步训练和 allreduce 式训练，需要一个分布式集群系统，由不同的 worker （工作器）以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑，这将花费大量时间。由于更多用户访问模型的端点，为了有效地处理客户端请求，需要更多服务实例...阅读全文
Carter 的有 421 票，高于 Sruthi Chandran 的 341 票。 具体投票过程与结果分析访问：https://www.debian.org/vote/2021/vote_001 Jonathan Carter 在竞选宣言中描述了他的工作目标： - 改进财务相关工作，例如提升财务透明度，更好地追踪资金的收入和使用情况 - 实行支出政策 (expendature policy)，主要是让项目成员更清楚他们可以在哪些方面花钱以及如何花钱，Jonathan Carter 表示项目成员之间对于这方面没有达成一致的认识，通常会导致这些成员不使用本来可以让 Debian 项目受益的资金 - 考虑正式注册 Debian 组织 今年选举 DPL 的投票中还提及到了是否应就 Richard...阅读全文
。Azure Monitor 等日志聚合工具可用于将日志从 AKS 发送到日志分析工作区，以便将来使用 Kusto 查询进行审讯。在 AWS Cloudwatch 上可以使用。第三方工具还提供更深入的监控功能，例如 Dynatrace 和 Datadog。最后，应该为日志设置一个保留期，通常为 30-45 天左右。使用版本控制系统K8s 配置文件应该在版本控制系统 (VCS) 中进行管理。这带来了很多好处，包括提高安全性、启用更改的审计跟踪，并将提高集群的稳定性。应为所做的任何更改设置审批，以便团队可以在将更改提交到主分支之前对其进行评审。使用基于Git的工作流程（GitOps）K8s 的成功部署需要考虑团队使用的工作流程。使用基于 git 的工作流可以通过使用 CI/CD（持续集成 / 持续交付）管...阅读全文
