Debian 爱好者社区 为您找到相关结果 602

Docker CE 19.03 正式发布 无需root权限

加 –pids-limit 标志 docker/cli#1765添加对服务的系统支持 docker/cli#1754在复合文件中增加了对 template_driver 的支持 docker/cli#1746使用该参 --device 启动时将设备传递到 Windows 容器中 docker/cli#1606增加了对据路径端口配置的支持 docker/cli#1509添加快速上下文 switch: commands docker/cli#1501每个节点添加最大副本 docker/cli#1612添加选项来 pull 图像 docker/cli#882添加 –domainname 标志 docker/cli#1130在 docker stack deploy 增加了对秘密驱动程序的支持...阅读全文

博文 2019-07-24 21:30:05 debian.cn

谷歌如何为数十万台设备更新内部 Linux 发行版 - OSCHINA

责任的选项。 在每个操作系统使用周期内,谷歌还面临软件包重大版本升级的挑战,因为这可能需要对软件配置进行重大改变。为了让这个过程自动化,谷歌工程师编写了一个无人值守的升级工具来处理很多常见的问题。这种“自动化升级”意味着大多谷歌员工无需通过重新安装机器,并重新创建所有配置来手动升级。不过为了实现这一点,谷歌需要对升级过程进行全面测试,并检查所有已更改的主要软件包是否继续运行(在 Ubuntu 中,主要版本之间的升级可能多达千个软件包)。有时,在发生软件包弃用且工程师必须决定如何推进的情况下,很难提供自动化。 据称,谷歌完成所有 Goobuntu 的升级通常要花费一年的时间,整个过程对于团队来说是一个巨大的压力。而且很多时候他们遇到的一些 bug 已经在上游被修复了,但这些改进却从未被合...阅读全文

博文 2022-07-31 19:13:41 中文开源技术交流社区

Python 社区有了新治理模式

投票,也就是弹劾机制,可将任期内的当权者赶下台;它严格限定了在委员会里,只允许少于 50% 的成员是企业(5 人委员会里最多有 2 个);并且关注到核心开发者的选举/淘汰、如何更新治理提案等问题。 而且,PEP 8016 中也提出了新的 PEP 流程,目前的 PEP 流程是提案人确定 PEP 的选题方向,提案人责收集与整合来自整个社区的反馈。然后,相关领域的专家们汇总全部讨论,并开启为期 14 天的审查,之后进行社区投票。如果一个 PEP 很有争议,任何专家成员都可发起动议来拒绝通过它,这需要超过 2/3 的票。PEP 8016 的 PEP 流程:理事会在必要时可直接地批准/否决 PEP,但最好是设置流程来避免这样做决策,例如,将决策权委派给团队或者 BDFL 代表。 7 种治理方案一览...阅读全文

Django 采用新的项目治理模式

Django 此前的治理模式不太合理,对于持续发展壮大的 Django 社区产生阻碍。官网博客介绍,最开始 Django 项目发起人(Adrian Holovaty 和 Jacob Kaplan-Moss)可以授权其他人 commit 的权限。到了 2014 年,committer 的核心团队人已经不少,在两位创始人辞去领导职务后, 保留了一个核心 committer 团队的基本结构,该团队可以根据自己的选择向 Django 添加代码。同时创建了一个新的小组:由核心 committer 选举产生的由 5 名 committer 组成的“技术委员会”,并作为最终的决策者。 但是实际上,现在几乎所有添加到 Django 的代码都由 Django Software Foundation(DSF...阅读全文

博文 2020-03-26 08:51:49 debian.cn

Golang 操作 Kafka 样例

务器都是一个代理(Broker). 消费者可以订阅一个或多个话题,并从Broker拉据,从而消费这些已发布的消息。 5.Partition(分区):Topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset) Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息。 复制代码 1.1.5. 消息 消息由一个固定大小的报头和可变长度但不透明的字节阵列载。报头包含格式版本和CRC32效验和以检测损坏或截断 1.1.6. 消息格式 1. 4 byte CRC32 of the message 2. 1 byte "magic...阅读全文

博文 2023-01-10 13:46:09 掘金

如何写好技术文档 — 来自十多年的文档经验总结

的语言,你只需要将问题讲清楚即可。 - 有时候工具不好用也会影响的文档写作。如果没有一个很好的写作工具将写文档嵌入到开发工作流程中的话,写作确实会增加工作的担。 - 大多人将写文档看做是工作的额外担。 我代码都没时间写,哪有时间写文档!,这其实是错误的观念,文档虽然前期有投入,但能让你代码的后期维护成本大幅降低,磨刀不误砍柴工这个道理相信大家都还是能理解的。 ## 如何产出高质量文档 ## 既然理解了好文档的重要性,我们如何保证在时间的长河中维护好一份文档,这里有些相关的方法论,大家可以参考下。 ## 像管理代码一样管理文档 ## 对于如何写出好代码,整个技术圈已经有好多经验的总结了,比如书籍《重构》《代码简洁之道》…… 针对各种编程语言,也有相关的规范,比如国外的Google C...阅读全文

博文 2021-07-30 16:15:13 joseph

Rust 1.37.0 稳定版发布

-Guided Optimization) rustc 编译器现在通过 -C profile-generate 和 -C profile-use 标志提供了对配置文件引导优化(PGO)的支持。 Profile-Guided Optimization 允许编译器根据来自实际工作载的反馈优化代码。它的工作方式是编译程序,在两个步骤中进行优化: 首先,程序是用编译器插入的工具构建的。这是通过将 -C profile-generate 标志传递给 rustc 来完成的。然后,需要在示例据上运行检测程序,并将分析据写入文件之后,重新构建程序,这一次使用 -C profile-use 标志将收集到的分析据反馈回 rustc。此构建将利用收集到的据,使编译器能够对代码放置、内联和其他优化做出更好的决定 在...阅读全文

博文 2019-08-17 21:17:23 debian.cn

社交巨人Facebook使用Linux和Btrfs的姿势

针对性地使用Btrfs的一些特性来提高我们手头工作的性能。我们比较关注在系统任务管理、快照之类的事情上。 Linux.com:我们都知道Facebook是Linux的重度用户。在Facebook庞大的基础设施里,哪些地方用到了Linux? Chris Mason:简单地说,Facebook所有的基础设施都使用了Linux。围绕分布式操作系统我们利用了Btrfs的很多特性,比如分布式任务管理、利用快照功能快速更新以及哈希校验功能,等等。 我们在相当量的机器上运行着Gluster——既支持XFS也支持Btrfs,我们的目标就是做好存储这件事。在Gluster上喜欢用Btrfs的其中一个原因是,据循环冗余校验(cyclic redundancy checks)和元据循环冗余校验使我们能够检测...阅读全文

博文 2021-01-28 17:50:22 debian.cn

欧洲核子研究组织(CERN)是如何使用 Linux 和开源的 - 云+社区

CERN 无需过多介绍了吧。CERN 创建了 万维网(World Wide Web)(WWW)和 大型强子对撞机(Large Hadron Collider)(LHC),这是世界上最大的 粒子加速器(particle accelerator),就是通过它发现了 希格斯玻色子(Higgs boson)。责该组织 IT 操作系统和基础架构的 Tim Bell 表示,他的团队的目标是“为全球 13000 名物理学家提供计算设施,以分析这些碰撞,了解宇宙的构成以及是如何运转的。”CERN 正在进行硬核科学研究,尤其是大型强子对撞机,它在运行时 生成大量据。“CERN 目前存储大约 200 PB 的据,当加速器运行时,每月有超过 10 PB 的据产生。这必然会给计算基础架构带来极大的挑战,包...阅读全文

博文 2021-11-29 13:20:55 腾讯云

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

服务化项目服务不可用几十分钟,造成订单减少几十万笔,损失百万资金。 原因分析 当时是没有定位到具体的原因的,但是下面的原因也是一部分可能引起宕机的情况。 某服务化项目的业务增速非常快,在高峰期,据库QPS突破35000,系统处于高荷状态。 在高峰期如果同时执行几个全表扫描的SQL,会造成据库压力急剧上升,应用超时增多,前端应用超时,用户重试,流量飙升,形成了雪崩效应。 主要原因在与一些老项目的SQL查询性能较差,并且使用的主库,对据库影响较大。据库QPS太高,但是缓存方案因为人手原因一直没有落地,慢SQL的问题处理优先级应该提升。 改进方案 针对每个应用建一个据库账号,严格按照规范使用 缓存优化方案即时落地,慢SQL问题优先处理,集中处理目前已经发现的慢SQL(查询时间超过1S...阅读全文

博文 2018-10-27 10:18:18 debian.cn

多媒体播放器 VLC 4.0 将引入新用户界面

VLC 4.0 版本将增加对主流 VR 头显的支持,并带来全新的界面。在早前举行的 FOSDEM 2019 中,VLC 总裁兼开发责人 Jean-Baptiste Kempf 谈论了 正在开发的 VLC 4.0 的新特性。 代号为 Otto Chriek 的 VLC 4.0 新版本将采用完全重写的用户界面,同时包含一个专用媒体库,并支持可通过英伟达或标准 HDMI 访问的 Ambisonics 3rd order 三维内容。新变化主要包括: 新的播放列表新的用户界面支持 VR/3D 的新视频输出架构移除对旧平台的支持支持 360 度视频、3D 音频 (Windows Media Reality,Vice,Oculus,PSVR)支持 HTC Vive 和 Oculus 等 VR 设备改进...阅读全文

Java EE 8 最终规范现已正式推出

今日,我们发现 Java EE 在 其 GitHub 上的账号 发布了 Java EE 8 最终规范,并 提供了 PDF 格式的文件下载 。 按照此前公布的计划,Java EE 8 最终规范会在今年夏天结束前发布。现在看来,他们并没有食言。 在 JCP 主页上 ,我们可以看到,在 8 月 21 日,JCP 执行委员会以 24 票赞成票 通过 了 JSR #366 的最终批准投票。其中,英特尔公司放弃了投票。 Java EE 8 规范从 2014 年 8 月开始接受 JSR 评审,到现在推出最终规范,整整经历了 3 年多的时间。 去年, 我们曾报道过 ,责 Java EE 和 WebLogic Server 的甲骨文副总裁 Anil Gaur 表示预计在 2017 年年底发布的 Java...阅读全文

博文 2017-09-04 09:49:02 debian.cn

Cortex: 高可用和水平扩展Prometheus监控系统

询时必须提供相同的值。在下面的例子中,这个headers是使用nginx反向代理设置的。架构图Cortex架构(源)Nginx/gateway–一个位于cortex前面的反向代理,将收到的所有请求转发给相应的服务。分发服务器Distributor–处理传入的指标,将其拆分为多个批次,然后将其传递给Ingesters。如果复制因子replication factor设置为> 1,则据将发送到多个实例。接收器Ingester–此服务责将据写入已配置的存储后端。Ingester是半状态的,因为它们保留了最后12个小时的样本。这些样本将被批处理并压缩,然后再写入块存储。查询前端Query Frontend–一个可选组件,用于对查询请求进行排队,并在失败时重试它们。结果也被缓存以提高性能查询器...阅读全文

博文 2021-10-09 17:00:22 知乎

三位候选人正进行 2022 Debian 项目负责人选举

2022 Debian 项目责人选举已开启,本次选举的流程和以往一样,有三位候选人:Felix Lechner、Hideki Yamane 和现任 Debian 责人 Jonathan Carter ,三人分别以一个页面进行自我介绍,并等待社区开发者为其进行不记名投票。​下面来介绍一下三位候选人。Felix Lechner同时受新时代思想以及古老宗教的启发,拥有扎实的理论基础,试图让 Debian 重新焕发活力。现担任美国加州的图书馆馆长(公务员),妻子来自中国,最好的朋友来自印度。Debian 贡献Debian 商标团队的一员,努力保护 Debian 的品牌;设计了 Debian 的密钥到期提醒功能;共同维护 了 Lintian (Debian 软件包追踪工具)及其网站;维护...阅读全文

OpenJDK 14 性能提升,但 OpenJDK 8 仍是王者

OpenJDK 14 已于近日 GA,其在性能方面是否有改进、以及有哪些改进引起了不少开发者的关注。本文将会介绍通过运行新的基准测试以考察从 OpenJDK 8 至 14 的所有主要发行版本,同时考察跨多个工作载的 JVM 性能,以及 OpenJDK 14 与 JVM 先前版本相比性能如何。 此次测试通过在被测试的每个发行版上使用相同的 Java 字节码编译的 Java 程序来查看 JVM 的性能,并使用被测软件包的参考/上游编译版本。为了保证测试受干扰的因素将降至最低,每次都使用相同的选项,除了交换用于测试每个发行版的 OpenJDK x86_64 Linux 构建之外,没有进行任何其他更改。 通过使用 Phoronix 的测试套件,测试内容包含从 SPECjbb 到 Java 2D...阅读全文

博文 2020-03-22 08:46:01 debian.cn

Node.js Vs. PHP:你应该选择哪一个

现在,Web开发公司和开发人员可以选择多种技术栈来构建Web应用程序。早期网络发展,不同的技术被用于前端和后端开发。但是,随着Node.js的发布,布局发生了变化,因为它允许开发人员使用 JavaScript 编写后端代码。这最终催生了MEAN(MongoDB + Express +AngularJS + NodeJS )堆栈 web 开发框架,从前端到后端甚至是据库(MongoDB -JSON)都使用 JavaScript。在 Node.js 之前,Web 开发通常是在 PHP 的帮助下完成的,因为它很容易与 HTML 集成,帮助开发人员立即构建动态网站。在这篇文章中,我们将比较 Node.js 和 PHP,看哪一个最适合当前的行业需求。 PHP 和 Node.js 的基本区别在于...阅读全文

博文 2017-12-23 23:15:39 debian.cn

在 Kubernetes 上扩展 TensorFlow 模型

](https://www.cs.cmu.edu/~muli/file/ps.pdf)(参服务器)的中央实体,它责聚合和计算梯度,并将更新的参传递给每个 worker。 在分布式集群中实现这样的策略并非易事。特别是,worker 应该能够在不同节点之间进行据和权重的沟通,并有效协调它们的学习,同时避免错误。 TensorFlow 在[tf.distribut.Strategy](https://www.tensorflow.org/api_docs/python/tf/distribute/Strategy)模块中实现了各种分布式训练策略,以节省开发人员的时间。有了这个模块,机器学习开发人员只要对他们的代码做最少的修改,就可以在多个节点和 GPU 之间分发训练。 这个模块实现了几种同步策略,包括...阅读全文

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

deployments,而背后的复杂性被隐藏在简单的抽象中。但为了充分理解它为我们提供的价值,我们需要理解它的内部原理。 本指南将引导您理解从 client 到 Kubelet 的请求的完整生命周期,必要时会通过源代码来说明背后发生了什么。 这是一份可以在线修改的文档,如果你发现有什么可以改进或重写的,欢迎提供帮助! 1. kubectl 验证和生成器 当敲下回车键以后,kubectl 首先会执行一些客户端验证操作,以确保不合法的请求(例如,创建不支持的资源或使用格式错误的镜像名称)将会快速失败,也不会发送给 kube-apiserver。通过减少不必要的载来提高系统性能。 验证通过之后, kubectl 开始将发送给 kube-apiserver 的 HTTP 请求进行封装。kube-apiserver 与...阅读全文

博文 2022-04-18 16:18:04 CSDN

运维的未来:云服务兴起,运维人员会“下岗”吗?

都跟质量保证(QA)的未来走向相似。传统意义上的 QA 正从关注测试转向关注工具。工程师写代码、单元测试和集成测试。测试在 CI 上运行,代码通过 CD pipeline 和 canary 转出(rollout)来生产。QA 团队正在缩小,但是构建工具的团队正在增长——测试框架、CI 环境和 CD pipeline 。QA 能力现在已经嵌入发展团队中了。经由 Microsoft 和 Amazon 等公司普及的SDET 模式是这个方向的第一步。2014 年,Microsoft 转向了联合工程(Combined Engineering)模式,将 SDET 和 SDE(软件开发工程师)合并成一个角色,软件工程师,责产品代码、测试代码和工具代码。 你们有没有注意到 QA 起的作用似乎在悄然消失?跟...阅读全文

博文 2021-01-28 17:50:31 debian.cn

LFS 8.0 正式发布:从零开始编译自己的 Linux 发行版

》(LFS)是杰勒德·比克曼斯等人编写的久盛名的安装Linux的教科书,描述了从源代码编译Linux系统的方法。这本书可以从在Linux From Scratch网站上免费下载到,下载链接如文末。书中详细地描述了如何从零开始构建一个完整的 Linux 系统,不过 LFS 包含的套件较少,一般来说 BLFS 提供的套件更多,其几个相关的子项目有如下这些: Beyond Linux From Scratch(BLFS) 标准LFS仅仅安装了足够让系统启动的基本软件,以及使新系统能够编译新软件包的开发工具。BLFS包括了更多的软件包,且都有相应指导。 Crosss Linux From Scratch(CLFS) 为需要进行交叉编译(即在一个平台上编译另一个平台的代码)的用户提供指导,正式版本为1.0...阅读全文

博文 2021-01-28 17:50:23 debian.cn

Solus Linux 正在打造“现代化的 Linux 发行版”,不依赖 GNU

Solus Linux 的创造者 Ikey Doherty 宣布其正在打造一个“真正现代的 Linux 发行版” Serpent OS,并且该发行版将不依赖 GNU 工具链与运行时。 Ikey Doherty 认为当前市面上绝大多 Linux 发行版都有非常相似的目标: Modern, lightweight, privacy oriented/respecting, user-friendly desktop现代、轻巧、面向隐私/尊重用户友好的桌面 但是其专注于构建可满足自己需求的 Linux 发行版,而不是关注与 macOS * + Windows * 互用性的“基于 Linux 的操作系统”。也就是说,“这不是‘面向大众的 Linux’,而是一个还原 Linux 真正该有的样子的...阅读全文

博文 2020-07-12 09:08:23 debian.cn

RabbitMQ 高可用实现镜像队列

queuerabbitmqctl cancel_sync_queue name #取消某个queue的同步功能以上针对消息同步的命令,均可以通过监控界面来进行操作,最终也是通过这些操作命令执行。 说明:镜像队列不是载均衡,镜像队列无法提升消息的传输效率,或者更进一步说,由于镜像队列会在不同节点之间进行同步,会消耗消息的传输效率。 对exclusive队列设置镜像并不会有任何作用,因为exclusive队列是连接独占的,当连接断开,队列自动删除。所以实际上这两个参对exclusive队列没有意义。那么有哪些队列是exclusive呢?一般来说,发布订阅队列及设置了该参的队列都是exclusive 排他性队列。 如何确定一个队列是不是排他性队列呢? 如果队列的features包含Excl,就代表它是排他性队列。 镜像队...阅读全文

博文 2018-12-30 19:21:59 debian.cn

Kubernetes 部署 Nacos 1.4 集群 · 小豆丁

性: 服务发现: 支持 DNS 与 RPC 服务发现,也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。 服务健康监测: Nacos 提供对服务的实时的健康检查,阻止向不健康的主机或服务实例发送请求。 动态配置服务: Nacos 提供配置统一管理功能,能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。 动态 DNS 服务: Nacos 支持动态 DNS 服务权重路由,能够让我们很容易地实现中间层载均衡、更灵活的路由策略、流量控制以及据中心内网的简单 DNS 解析服务。 服务及其元据管理: Nacos 支持从微服务平台建设的视角管理据中心的所有服务及元据,包括管理服务的描述、生命周期、服务的静...阅读全文

博文 2021-02-24 10:10:29 www.mydlq.club

NeuVector:业内首个开源容器安全平台

2022年1月18日,全球企业级开源解决方案领导者SUSE宣布:NeuVector代码库现已在GitHub上向开源社区开放。将之前的专有技术全部开源是对SUSE开源文化的传承,也践行了SUSE向合作伙伴和客户提供开放、互操作性和创新的解决方案的承诺。基于本次发布,NeuVector成为了业界首个端到端的开源容器安全平台,唯一为容器化工作载提供企业级零信任安全的解决方案。 三个月前,SUSE完成了对NeuVector的收购;此后,SUSE一直在考虑将这一云原生容器安全平台开源所涉及的技术和法律问题。NeuVector是业界领先的安全和合规解决方案,已被全球知名企业广泛采用;其代码库的开源不仅使NeuVector成为开源社区的首选技术,还为受严格监管的客户(包括政企、金融)提供了更可靠...阅读全文

Istio 1.2.0发布 包含重大改进

的 Sidecar 支持(不包含 iptables)添加了为 sidecar Envoys 配置 DNS 刷新速率 的功能,以减少 DNS 服务器上的载Graduated Sidecar API from Alpha to Alpha API and Beta runtime. 详细内容请查看发布公告。 源码下载地址:https://github.com/istio/istio/releases/tag/1.2.0 Istio 是一个由谷歌、IBM 与 Lyft 共同开发的开源项目,旨在提供一种统一化的微服务连接、安全保障、管理与监控方式。 Istio 项目能够为微服务架构提供流量管理机制,同时亦为其它增值功能(包括安全性、监控、路由、连接管理与策略等)创造了基础。这款软件利用久经考验的...阅读全文

博文 2019-06-24 10:13:28 debian.cn

Fedora 33 确认引入 Stratis 2.1

虽然 Fedora 33 桌面版已确定默认使用 Btrfs 文件系统,但对于使用服务器版本或者不希望使用默认设置的用户,官方提供了 Stratis 2.1 作为另一种选择。Stratis 是一个卷管理文件系统 volume-managing filesystem(VMF),由 Fedora 团队责开发,在 LVM、Device Mapper 和 XFS 的基础上提供类似 ZFS/Btrfs 的功能(子卷管理和文件系统)。 红帽承诺会采用其作为 Linux 存储方案,甚至有可能在 Red Hat Enterprise Linux 9 中默认使用。因此 Fedora 现在可以说是同时促进 Btrfs 和 Stratis 这两种技术的发展。 上个月有提案建议将 Stratis 的最新版本...阅读全文

博文 2021-01-28 17:52:11 debian.cn

Raspberry Pi 支持 Vulkan 最新进展

程序可以处理这些更复杂的工作载之前,还有很多工作要做。甚至由于驱动程序错误或未实现的 Vulkan 功能,连 Sascha 的一些演示都无法运行。 为此,接下来几个月的工作将集中在支持基本的 Vulkan 1.0 功能集,至少涉及支持计算着色器、输入附件、纹理像素缓冲区、存储镜像、pipeline 缓存和多重采样。在 Vulkan 1.0 中,还需要支持其它一些功能,例如健壮的缓冲区访问等。 一旦完成了功能开发,则可能会将重心转移到 CTS 一致性上,这将全部用于 bug 修复,并处理特殊情况。最后也会有许多性能调整和优化工作。 Raspberry Pi 基金会还介绍,目前已经将驱动程序的开发转移到一个开放的存储库中,开发者可以在其中找到有关如何构建和安装驱动的说明。...阅读全文

博文 2020-06-13 18:15:31 debian.cn

TLS1.3 正式版发布 — 特性与开启方式科普

(SSL)的进化版本,SSL是由Netscape公司在1990年代研发的。国际互联网工程任务组(IETF)做为一个标准化组织,责定义该协议,该协议已经历了多次修订。最新版本 TLS1.2 在 2008 年被确立为标准,目前被大多浏览器和启用 HTTPS 的 web 服务所支持。 在配置正常的情况下,TLS 1.2 会很安全,但如今它却显得有些过时了。在过去几年中,几次引人注目的攻击暴露出该协议的一些漏洞。在计算机安全领域,8年是一段很长的时间,因此 IETF 已经在着手开发该协议的新版本 TLS 1.3。TLS1.3 是一次全面升级,与此前版本相比,它有两个主要优势: 增强安全性 提升速度 增强安全性 过去几年来,大部分针对TLS的攻击都是以该协议90年代遗留下来的残余部分为目标的...阅读全文

博文 2018-08-14 14:40:05 debian.cn

大起底:揭开亚马逊云计算丰厚利润的秘密 - 电子商务

需要租赁托管的服务器来运行网站,他们必须支付足够费用才能获得想要的性能。阿尔瓦雷兹介绍说,科技公司租用的服务器往往超过了实际所需,造成浪费。亚马逊联系到了他,介绍即将推出的新服务,并提供了提前试用。阿尔瓦雷兹回忆说:“一瞬间我明白了,亚马逊提供了一个改变我一生的产品,这将改变我的人生,以及所有开发者的人生。”这样的评价并不夸张。S3蓬勃发展,时至今日已经在网络上保存了100万亿个据对象。亚马逊云计算责对象和块存储的副总裁麦兰·汤姆森·布科维奇(Mai-Lan Tomsen Bukovec)在接受电视媒体采访时介绍说,今天一些企业客户存储的据多达几百PB(1PB等于1024TB),某些案例下甚至多达1EB(等于1024PB)。有时候,企业在S3上保存的据超出了必要。上述业内人士金塞拉回...阅读全文

博文 2021-09-07 11:41:54 cnBeta.COM

7大维度看国外企业为啥选择gRPC打造高性能微服务

gRPC是一个高性能、开源、通用的RPC框架,面向移动和HTTP/2设计,是由谷歌发布的首款基于Protocol Buffers的RPC框架。 gRPC基于HTTP/2标准设计,带来诸如双向流、流控、头部压缩、单TCP连接上的多复用请求等特性。这些特性使得其在移动设备上表现更好,更省电且节省空间占用。gRPC 1.0版本是2015年面世以后的第一次版本发布,开发者可以把该版本用于生产。API现在也是很稳定的。 Bugsnag(注:一家云端bug监控服务商)每天处理以亿计的错误信息,为了处理这些据,考虑优先构建一个可扩展,性能强大的后端系统,并从中学到很多有挑战性的技术。最近,我们推出了新版本的仪表板,这个项目要求扩展系统,来处理服务呼叫的显著增加,这些呼叫是跟踪用户发布和会话所需的...阅读全文

博文 2018-03-19 17:51:32 debian.cn

基于thanos搭建分布式prometheus

: thanos receive组件需要部署N个进程组成集群,prometheus可以remote write写入据到任意receive节点,收到写入请求的receive节点根据metrics label做哈希后计算出责存储该部分据的receive节点,并将据转发过去; 同时,receive可以配置replica量,这样的话receive会根据哈希结果将据复制给多个receive做冗余,应该说是非常简单粗暴的复制方案吧,因为监控场景没那么严谨所以基本可用即可,查询去重和归拢则全部依靠querier组件反向查询所有Receive组件搞定。 我们的选择 让prometheus直接配置remote write的方式看起来更好一些,我们只需要在启动一套thanos receive集群,然后让...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

Ceph 12.2.0 正式版本发布, 代号 Luminous

。 RBD import 和 copy命令现在可以检测稀疏并保留稀疏区域。 快照可以包含创建时间戳。 为RBD客户端指定了用户授权功能简化。 使用RBD功能配置文件的一般语法是“mon’profile rbd’osd’profile rbd [-read-only] [pool = {pool-name} [,…]]’”。 CephFS 多MDS已经稳定,主MDS量可以根据需求进行调整。 CephFS目录分片已经稳定的,默认情况下在新的文件系统上启用。 要使其在现有的文件系统上启动,要使用“ceph fs set allow_dirfrags”。大型或非常繁忙的目录被分割并(可能)自动分布在多个MDS后台驻留程序中。 在不需要自动载均衡的情况下,目录子树可以明确固定到特定的...阅读全文

博文 2017-08-31 13:36:49 debian.cn

Kubernetes 1.7:安全加固、有状态应用更新等

志(Audit log),现在定制化和可扩展性更强,支持事件过滤和 webhook。它们同时为系统审计提供了更丰富的据。 状态化工作载: StatefulSet Update 是1.7中一个新的 beta 状态的特性,能允许有状态应用如 Kafka,Zookeeper 和 etcd 的更新自动化。它使用了各种升级策略,包括滚动更新。 对于无顺序要求的应用,通过 Pod 管理策略(Pod Management Policy),StatefulSet 现在支持更快的伸缩和启动。这可以大大提升性能。 本地存储( alpha状态 )是有状态应用一个最常被请求添加的特性。用户现在可以通过标准的PVC/PV接口和StatefulSet中的StorageClass来访问本地存储卷。 DaemonSet...阅读全文

博文 2021-01-28 17:50:35 debian.cn

Debian 成为主流 Linux 操作系统的七个原因

Debian也许是历史最悠久的发行版之一,但很显然,它仍可以教其他发行版好几招。要是没有Debian,Linux领域的境况会大不一样,会黯然失色好多。Debian仍是首屈一指的Linux发行版之一,这有诸多令人信服的理由。 我头一回安装Debian是在16年前。自那以后,我试用过无的其他Linux发行版,甚至有一两个还坚持使用了好几个月,不过我的主要发行版始终是Debian,或者至少是Debian的众多衍生版之一。很熟悉,也许可以在一定程度上解释为什么我青睐它。不过,我青睐它主要源自其他发行版比不过Debian。 我认为至少有七个理由表明Debian仍是我青睐的Linux发行版: 7.软件包管理 Debian中的软件包由dpkg和apt-get来管理。如今,它们管理依赖项的能力不再很独特...阅读全文

博文 2021-01-28 17:50:13 debian.cn

Debian 9 使用kubeadm创建 k8s 集群(下)

worker1 Ready 1d v1.14.0 worker2 Ready 1d v1.14.0 如果所有节点都具有Ready for STATUS值,则表示它们是群集的一部分并准备好运行工作载。 但是,如果一些节点将NotReady作为STATUS ,则可能意味着工作节点尚未完成其设置。 等待大约五到十分钟,然后重新运行kubectl get nodes并检查新输出。 如果少节点仍具有NotReady作为状态,则可能必须验证并重新运行前面步骤中的命令。 现在您的集群已成功验证,让我们在集群上安排一个示例Nginx应用程序。 第7步 - 在群集上运行应用程序 您现在可以将任何容器化应用程序部署到您的群集。 为了保持熟悉,让我们使用部署和服务部署Nginx,以了解如何将此应用程序部署到集群。 如果更...阅读全文

博文 2019-05-13 22:57:41 debian.cn

Redis 命令、特性介绍与性能调优

的多节点架构,在这一架构下,主节点接收所有写请求,并将据同步给多个从节点。 在这一基础上,我们可以让从节点提供对实时性要求不高的读请求服务,以减小主节点的压力。 尤其是针对一些使用了长耗时命令的统计类任务,完全可以指定在一个或多个从节点上执行,避免这些长耗时命令影响其他请求的响应。 关于读写分离的具体说明,请参见后续章节 主从复制与集群分片 主从复制 Redis支持一主多从的主从复制架构。一个Master实例责处理所有的写请求,Master将写操作同步至所有Slave。 借助Redis的主从复制,可以实现读写分离和高可用: 实时性要求不是特别高的读请求,可以在Slave上完成,提升效率。特别是一些周期性执行的统计任务,这些任务可能需要执行一些长耗时的Redis命令,可以专门规划出1个或几...阅读全文

博文 2018-10-27 10:37:55 debian.cn

处理器架构消亡史

印机,字机顶盒,字电视,DSL,电缆调制解调器和个人字助手等多种产品。到1990年代后期,MIPS已成为嵌入式系统领域的强者。根据MIPS科技公司的统计,1997年以MIPS架构为基础的CPU出货量为4800万,占RISC CPU总市场份额的49%。MIPS 架构如此成功,于是,在1998年SGI把MIPS科技公司拆分成为一个子公司(SGI 在1992年直接收购了MIPS)。DEC(Digital Equipment Corporation)也是受这股RISC风潮影响下的企业之一,DEC看到了许多RISC架构(例如MIPS和SPARC)的兴起,他们认为竞争激烈,最终将拯救在VAX上的败退。于是,在1982年到1985年间,DEC将RISC划分为几个部分来分开研究,1985年,DEC责...阅读全文

Git 介绍与使用详解

分支 4.2远程分支 git remote add 分支名 仓库地址 // 添加一个新的远程 Git 仓库 git fetch 远程分支 //从远程仓库中获得据 git push origin master //将master推送到远程仓库 git remote rename test1 test2 //将 test1 重命名为 test2 git remote rm test//移除远程分支test 注意: 1、多人协同开发需要先执行 git pull拉取远程的改动,然后再push,如果拉下来代码有冲突,则需要先修改冲突再提交 2、本地至少两个分支,master和develop,master责线上版本,develop责开发版本,如果有支线业务,则新建分支,保证不影响主业务。每次发版后...阅读全文

博文 2017-02-25 09:00:27 程序员

APISIX Ingress 如何使用 Cert Manager 管理证书

Apache APISIX Ingress Controller 是一款以 Apache APISIX 作为据面的 Kubernetes Ingress Controller 开源工具,目前已经更新到 v1.3 版本,实现了如证书管理、载均衡、金丝雀发布等功能。 长久以来,证书管理都不是一件简单的事情,虽然 Apache APISIX Ingress Controller 支持从 Kubernetes Secrets 资源中提取证书和私钥,并转换为 Apache APISIX 可识别的 SSL 对象,但这只是整个证书管理链中的一部分,证书的颁发、轮转、吊销逻辑依然需要管理员执行,尤其当证书量比较多时,工作量往往并不小,因而会占用管理员不少的时间。 Cert Manager 是一款致力...阅读全文

博文 2023-02-09 07:38:06 中文开源技术交流社区

中芯国际2200万豪宅留下梁孟松 明年量产N+2工艺

访问:“云通信上云狂欢节”爆款产品低至7.2折,短信低至0.034元/条 与此同时,梁孟松的薪酬大幅增长,去年拿到了493万美元的收入,而其中有一栋价值2250万元的住宅,系公司赠予梁孟松用于居家生活。不算房子的话,梁孟松的收入依然是2019年的4.5倍之多。对于中芯国际花费近500万美元留下梁孟松,业界认为并不夸张,因为梁孟松在半导体工艺上是不可多得的人才。梁孟松毕业于美国加州大学伯克莱分校电机工程及电脑科学系并取得博士学位,在行业内有35年资深经验,1992年到2009年在台积电先后担任重要职务,最后是责台积电先进工艺研发的资深研发处长。他个人发表了350多篇论文,拥有450多项专利,可以说是国宝级人才。此前的离职事件中,梁孟松表示,自2017年11月担任中芯国际联席CEO至今已有三...阅读全文

Linux 5.11稳定版今日将发布 多项重大变化

尚未发布的另一款 Radeon RX 6000 系列 GPU,对比当前的 Radeon RX 6800/6900「Sienna Cichlid」硬件,性能有所提高。 - 通过 Schedutil 获得更好的 AMD 性能,在本周修复了频率不变性性能回归之后,不仅回归问题得到了解决,而且对于许多工作载来说,现在的情况比在 Linux 5.10 或更早版本上要好。 - 适用于 NVIDIA GA100 / GeForce RTX 3000 系列的 Nouveau KMS。这只是内核模式设置/显示支持,没有3D加速。因此,至少显示器能够亮起来,以使用户可以继续访问 NVIDIA 网站以安装专有驱动程序,直到开源 Nouveau 驱动程序在更高版本的内核中完全支持 Ampere。 - 新的 ARM...阅读全文

最全 MongoDB 基础教程

被包含 db.ruochen.aggregate( { $project: { _id: 0 title: 2, by: 1, }} ); 如此即可不包含_id, 非0可表示显示字段,也可以表示显示该字段 $match 获取分大于70或小于等于90的记录,然后把符合条件的记录送到下一阶段$group 管道操作符进行处理 db.ruochen.aggregate([ {$match: {score: {$gt: 70, $lte: 90}}}, {$group: {_id: null, count: {$sum: 1}}} ]) 当 match 条件和 group 同时存在时,顺序会影响检索结果,必须先写 match 在前面 $skip 过滤前5个文档...阅读全文

博文 2021-02-22 07:45:45 OSChina

译:Kubernetes 最佳实践

探针则不会生效。译者:还有一点尽量为 Pod 内的所有容器都定义探针。使用自动缩放在适当的情况下,可以使用自动缩放来动态调整 pod 的量(Pod 水平自动缩放器,HPA)、pod 消耗的资源量(Pod 垂直自动缩放器, VPA)或集群中的节点量(集群自动缩放器,CA),具体取决于 对资源的需求。Pod 水平自动扩缩器还可以根据 CPU 需求扩展复制控制器、副本集或有状态集。使用缩放也带来了一些挑战,例如不在容器的本地文件系统中存储持久据,因为这会阻止水平自动缩放。相反,可以使用 PersistentVolume。当集群上存在高度可变的工作载并且可能根据需求在不同时间需要不同量的资源时,集群自动缩放器非常有用。 自动删除未使用的节点也是省钱的好方法!译者:更多自动缩放的内容,可以浏...阅读全文

博文 2022-09-13 19:32:21 atbug.com

在TKE上使用Kubecost进行成本管理

效应(规模效应即为资源量增加,成本并不会爆炸,但是却可以解决装箱问题)。 如有上述需求和问题,您都可以使用 Kubecost 来分析自己的集群成本趋势。 ## 前提条件 - 已创建容器服务 TKE 集群。如果您还未创建集群,请参见 [快速创建一个标准集群](https://cloud.tencent.com/document/product/457/54231)。 - 已使用命令行工具 Kubectl 连接集群。如果您还未连接集群,请参见 [连接集群](https://cloud.tencent.com/document/product/457/32191)。 ## 功能说明 - Kubecost 主要给出 cost 分析,包括 Service、Application、Pod...阅读全文

OpenAI掌门人Sam Altman:AI的下一个发展阶段_OneFlow

辟自己独特的商业路径? Sam Altman:将来应该会出现几个大型的基础模型,开发人员都将基于这些基础模型研发AI应用。但目前的情况依然是某一家公司开发出一个大型语言模型,然后开放API供他人使用。 我认为,将来在基础模型和具体AI应用研发之间会有一个中间层:出现一批专门责调整大型模型以适应具体AI应用需求的初创企业。能做好这一点的初创公司将会非常成功,但这取决于它们能在“据飞轮”上走多远。(据飞轮:使用更多据可以训练出更好的模型,吸引更多用户,从而产生更多用户据用于训练,形成良性循环。) 我对初创企业训练模型的能力持怀疑态度,将来承担模型训练角色的应该不会是初创公司,但这些企业可以在上述的中间层角色中发挥巨大价值。 Audience Member:未来会不会出现垂类AI初创公司...阅读全文

博文 2023-02-04 15:55:11 CSDN博客

Linux下多线程程序为什么消耗大量虚拟内存

最近游戏已上线运营,进行服务器内存优化,发现一个非常奇妙的问题,我们的认证服务器(AuthServer)责跟第三方渠道SDK打交道(登陆和充值),由于采用了curl阻塞的方式,所以这里开了128个线程,奇怪的是每次刚启动的时候占用的虚拟内存在2.3G,然后每次处理消息就增加64M,增加到4.4G就不再增加了,由于我们采用预分配的方式,在线程内部根本没有大块分内存,那么这些内存到底是从哪来的呢?让人百思不得其解。 探索 一开始首先排除掉内存泄露,不可能每次都泄露64M内存这么巧合,为了证明我的观点,首先,我使用了valgrind。 valgrind --leak-check=full --track-fds=yes --log-file=./AuthServer.vlog & 然后启动测试...阅读全文

博文 2015-01-28 10:35:39 debian.cn

字节跳动开源微服务中间件 CloudWeGo - OSCHINA

发语言。早在 2016 年,基础架构团队就已经开始基于 Golang 开发内部框架 Kite,并在 2019 年围绕性能和可扩展启动重构,使其能更好地满足业务发展和技术体系演进需求。 2020 年 10 月,Kitex 正式上线。虽然是一个全新的框架,但经过一年的线上应用,目前字节跳动内部已有超过 50% 的 Golang 微服务迁移到了 Kitex。 下面是 Kitex 的一些特性: 高性能:Kitex 默认集成自研网络库 Netpoll 作为网络传输模块,性能相较使用 go net 有显著优势;除了网络库带来的性能收益,Kitex 对 Thrift 编解码也做了优化,这在之前的性能优化实践文章中有介绍。关于性能据,可参考 https://github.com/cloudwego...阅读全文

博文 2021-09-09 13:56:42 中文开源技术交流社区

一位五年工作经验架构师的感悟

title 就很牛 B 的,人外有人,天外有天,做好自己。五年陈留给自己的话:不忘初心,方得始终,未来已来,星辰大海。路就在前方,继续前行。 每个人的成长之路也不一样,我来回想下自己的。 不为过去蹉跎,珍惜当下 很多在菜鸟的时候,肯定或多或少,有过对身边的牛人,报以羡慕的眼光。 当看着别人职位比你高, 当看着别人比你工资领的高, 当看到别人年纪轻轻,就已经是牛逼哄哄。 你会不会有羡慕嫉妒恨的想法: 要是我当年读书的时候,不打游戏,少吃点红瓶、蓝瓶,少放几个水元素,少放几个暴风之锤(寒冰王座)。那么我肯定可以学到更多。 要是我当年不睡懒觉,起早贪黑,去学**,那么我肯定是也会学到很多。 要是。。。 理由从来不嫌多,我自己肯定也有这些想法,平心而论,我现在也有这些想法。但是能量不能盖过正能量。 不要为...阅读全文

博文 2021-01-28 17:50:31 debian.cn

最全的 DevOps 工具集合

、Bitbucket 和 Subversion。 Git Git 是一个分布式版本控制系统,用来在软件开发过程中跟踪源代码的更改。它是专为协调不同程序员的工作而设计的,也可用于跟踪各种文件集中的更改。它的优势包括速度、据完整性以及对分布式非线性工作流的支持。 GitHub GitHub 提供了 Git 的分布式版本控制和源代码管理功能,自己也有很多特性。 GitLab GitLab 中的版本控制提供了世界一流的源代码管理功能,可帮助你的开发团队共享、协作并尽可能提高生产力。 Bitbucket Bitbucket 是 Atlassian 所有的、基于 Web 的版本控制库托管服务,可用在使用 Mercurial 或 Git 版本控制系统的源代码和开发项目上。 Subversion Apache...阅读全文

博文 2021-05-26 14:35:21 博客园