Go 1.10 发布说明草案：预计于 2018 年 2 月发布
。此外，大多数程序运行速度将会更快一些。 核心库 标准库的改动较小，bytes 和 net/url 中的变化最有可能要求对现有的程序进行更新。 总的来说，更新的内容涉及到语言特性、Port、工具、运行时、性能、垃圾收集器以及核心库这些方面，其中主要是对工具的更新。点此查看详细内容 。...阅读全文
Debian 爱好者社区 为您找到相关结果 409 个
悼念声明 缅怀创始人 Ian Murdock
和开源社区文化的过程中做正取的事情，不管是技术上，还是道德上。每一次准备好的系统发布，都包含着对自由软件和自由精神立场的坚定支持。 Ian 对开源的忠诚奉献一直引导着他的工作，不管是在 Debian 还是在后来的年月里，一直伴随他朝着最好的未来。Ian 的梦想一直都在发扬和纪旭，Debian 社区仍然非常活跃，成千上万的开发者们用数不清的工作时间带给世界一个安全可靠的操作系统。 这段特殊时期，Debian 社区的精神会一直陪伴着 Ian 的家庭，会陪伴一起共度难关。 他的家庭同时也请求大家在这个艰难的时刻留给他们一些隐私空间，我们对此非常尊重，同时也号召大家尊重 Ian 家人的愿望，来自 Debian 社区和开源社区的关心他的人们的慰问，可以发送到这个专属邮箱（in-memoriam-ian...阅读全文
三种SSL证书之间有什么区别
书针对网站域名及所有权进行严格书面审查，通过审核之后，证书上标示企业资料，让访问用户可以直接了解企业身份并强化信任感，为后续其他基于互联网的服务内容提供妥善保护。安全级别较高。 EV（扩展型/增强型）SSL证书：扩展验证网站所属单位身份，适合高度信任的企业级用户使用。如金融行业、银行、电子商务平台等；EVSSL的最大特点便是激活网站在浏览器的标签栏使其变绿，利用鲜明的标示告诉用户：这个网站正受到最严密的信息安全防护，同时通过证书标示增强机构信赖及网站真实合法认定。安全级别最高。...阅读全文
树莓派 9 周年：你不知道的树莓派冷知识
。 5. 树莓派总共能跑 20+ 个操作系统树莓派可以运行的操作系统多达 20 余种。其中，基于 Debian 定制的 Raspberry Pi OS 是树莓派官方的操作系统。但到目前为止，它并不是最受树莓派用户们青睐的选择。对于喜欢 DIY 的树莓派用户来说，为其适配 Ubuntu 和 FreeBSD Linux 版本，以及非官方的 Android 和Chrome OS 端口等显然更具有挑战性。开源社区中已经有大量不同的操作系统适配树莓派的实现方案。一些最有趣的包括： LibreELEC：运行 Kodi 开源媒体软件的轻量级操作系统。 RISC 操作系统：此独特的操作系统专为 ARM 芯片而设计，号称拥有比 Linux 更快的运行速度。 Chromium 操作系统： Chromium OS 在...阅读全文
架构师详解 Nginx 架构
引言：众所周知，Nginx 服务器是一个高性能的 Web 和反向代理服务器。Nginx 在激烈的 Web 服务器竞争中依旧保持良好的发展势头，一度成为 Web 服务器市场的后期之秀，这一切跟 Nginx 的架构设计是分不开的。 一. Nginx 模块化设计 高度模块化的设计是 Nginx 的架构基础。Nginx 服务器被分解为多个模块，每个模块就是一个功能模块，只负责自身的功能，模块之间严格遵循“高内聚，低耦合”的原则。 核心模块 核心模块是 Nginx 服务器正常运行必不可少的模块，提供错误日志记录、配置文件解析、事件驱动机制、进程管理等核心功能。 标准 HTTP 模块 标准 HTTP 模块提供 HTTP 协议解析相关的功能，如：端口配置、网页编码设置、HTTP 响应头设置等。 可选...阅读全文
DevOps 越来越流行，2019 年这八大趋势值得关注
从我们认为 DevOps 只是一个流行语开始，它已经发展了很长的一段时间。现在，DevOps 已经成为了一个主要焦点，并在过去几年一直在塑造着软件世界。专家表示，DevOps 将成为主流，它的流行程度将在 2019 年达到顶峰。 根据 2018 年《DevOps 现状报告》，DevOps 精英级执行团队代码部署频率和发布速度更高，变更故障率更少，事故恢复时间更短，同时高效能团队的比例逐年增长，采用 DevOps 的团队越来越多。 而 Stack Overflow2018 年的薪资计算器报告显示，全球 DevOps 专家的收入最高，美国 DevOps 专家的年薪中位数接近 10 万美元。 以下是“DevOps”一词的 Google Trends 以及 2019 年的预计增长假设。 从统计数据...阅读全文
Linux 基金会董事 Jim Zemlin：全球开源可持续增长将带来更多价值
Linux 安全性、项目管理及与其他领域结合发展 （1）近期勒索病毒肆虐全球，安全性方面，总会有人拿Linux 与Windows 相比。而 Jim 则不认可这种比较。他认为开发任何一个比较复杂的软件系统，都难免会有安全漏洞。 从安全性的角度来看，在 Linux 开发过程中会启动 CoreOS 项目，对所有代码进行同行评估，成千上万个开源开发者参与其中，对所有代码的安全性进行审议。由此希望通过审计的代码是最安全的，开发出的软件是安全可靠的。 “总而言之，安全是我们的任何项目的重中之重，非常关注与重视的一个问题，包括 Linux 的所有项目” （2）Linux 作为超大规模的项目，又是如何进行管理的呢？ “每天我们贡献的代码数量会达到 1 万行，从中抽取 5 千行，还有1800行代码每天都是精心修改的...阅读全文
如何写好技术文档 — 来自十多年的文档经验总结
齐全的API都是设计良好的API，虽然这个感觉并不完全正确，但这两者确实是强相关的，所以在很多人眼里，文档的完善度也成为衡量一个产品专业度的指标。 - 避免被重复的问题打扰： 有些问题你只需要写在文档里，这样有人来问你的时候你就可以让他直接去看文档了，而不是又给他解释一遍。 ## 为什么大多数人都不喜欢写文档？## 关于文档的重要性，每个技术人或多或少都知道一些，但很多人还是没有写文档的习惯，为什么？ 除了上文中提到的文档的收益滞后性外，还有以下几点原因： - 很多工程师习惯将写代码和写作割裂开，不仅仅是在工作上，而且在思想上就认为它们是完全不相关的两项工作，这就导致好多人重代码不重文档。 - 也有很多工程师认为自己不善写作，索性就不写了。 这实际是个偷懒的借口，写文档不需要华丽的辞藻、生动...阅读全文
Cortex: 高可用和水平扩展Prometheus监控系统
服务。如果cortex有许多的查询，则可以扩展Querier或Query Frontend微服务。高可用性– Cortex可以在实例之间复制数据replicate data。这样可以防止数据丢失，并避免度量标准数据出现间断，即使发生机器故障and/orpod被驱逐。多租户–多个不受信任的parties可以共享同一群集。Cortex在从ingester到querying的整个生命周期中提供数据隔离。这对于为多个单元或应用程序存储数据的大型组织或运行SaaS服务的人员非常有用。长期存储– Cortex将数据分块存储并为其生成索引。可以将Cortex配置为将其存储在自托管或云提供商支持的数据库或对象存储中。Cortex的需求Prometheus高可用性和数据去重Prometheus默认情况下不具有...阅读全文
Kubernetes源码探疑：Pod IP泄露排查及解决方法
UK8S是UCloud推出的Kubernetes容器云产品，完全兼容原生API，为用户提供一站式云上Kubernetes服务。我们团队自研了CNI（Container Network Interface）网络插件，深度集成VPC，使UK8S容器应用拥有与云主机间等同的网络性能（目前最高可达10Gb/s, 100万pps），并打通容器和物理云/托管云的网络。过程中，我们解决了开源kubelet创建多余Sandbox容器导致Pod IP莫名消失的问题，确保CNI插件正常运行，并准备将修复后的kubelet源码提交给社区。 深度集成VPC的网络方案 按照我们的设想，开发者可以在UK8S上部署、管理、扩展容器化应用，无需关心Kubernetes集群自身的搭建及维护等运维类工作。UK8S完全兼容原生...阅读全文
案例：Redis命令不当 引起数据库雪崩 造成数百万损失
Redis的一些开发规范和建议： 1.冷热数据分离，不要将所有数据全部都放到Redis中 虽然Redis支持持久化，但是Redis的数据存储全部都是在内存中的，成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】，对于低频冷数据可以使用MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式，不仅节省内存成本，而且数据量小在操作时速度更快、效率更高！ 2.不同的业务数据要分开存储 不要将不相关的业务数据都放到一个Redis实例中，建议新业务申请新的单独实例。因为Redis为单线程处理，独立存储会减少不同业务相互操作的影响，提高请求响应速度；同时也避免单个实例内存数据量膨胀过大，在出现异常情况时可以更快恢复服务！ 在实际的使用过程中，redis最大的瓶颈一般是...阅读全文
DPDK Graph Pipeline 框架简介与实现原理
表驱动节点调度（便于支持QoS）而不是 hardcode pipeline Graph 工作流程 现在来说一下整体上 graph 框架的工作流程。如上图所述的一样，一个 graph 是由不同的节点 (node) 所组成的。与传统的标量模型相比，两个框架其实都包含一样的逻辑。最大的不同是 graph 框架中 node 节点在运行时与其他 node节点的交互方式，或者具体地来说，是报文在node节点中的传递方式。 一个 node 中的 报文 传送到不同的 node，home run 情况 (优化案例) 以及正常 enqueue情况；动态增加 node 的 objects 队列 大小 Node 的 Object 队列大小 默认情况下，每个 node 都有一个...阅读全文
如何使用 journalctl 清理 journal 日志
己专属的日志文件(无论该用户是否拥有登录会话)，但系统用户的日志依然记录到系统日志中。这是默认值。 "none" 表示不对日志文件按不同用户进行分割，而是将所有日志都记录到系统日志中。这意味着非特权用户根本无法读取属于自己的日志信息。 注意，仅分割持久保存的日志(/var/log/journal)， 永不分割内存中的日志(/run/log/journal)。 RateLimitIntervalSec=, RateLimitBurst= 用于限制日志的生成速度(设为零表示不作限制)。 RateLimitIntervalSec= 用于设置一个时间段长度，默认值是30秒。 RateLimitBurst= 用于设置一个正整数，表示消息条数，默认值是1000条。 表示在...阅读全文
HAProxy用法详解 最详细中文文档
一、HAProxy简介 （1）HAProxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。 （2）HAProxy 实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User...阅读全文
网易云音乐Linux版v1.1发布 支持 Debian Stretch
化事件的问题； 修复无法读取AAC文件标签的问题； 修复段错误的问题； 修复 MPRIS DBus接口无效的问题； 修复部分本地音乐文件无法播放的问题； 修复无法识别Windows平台云音乐客户端下载的mp3文件的问题； 修复MINI模式乱码的问题； 修复切换下载目录无效的问题； 修复偶尔出现白屏的问题； 修复发送动态中添加图片失败的问题； 修复文件迁移失败的问题； 修复下载的歌曲无法添加到播放列表中的问题； 修复网络问题导致歌词不同步的问题； 修复无法拖动歌词的问题； 修复无法弹出歌词对话框的问题； 修复QQ第三方登录授权界面超链接无法点击的问题； 修复KDE桌面环境下最大化按钮无法点击的问题； 修复Ubuntu 17.10中托盘不可点击的问题； 修复部分在线音乐时间长度显示为负值的问题...阅读全文
Debian 10 Buster 国内常用镜像源
随着 Debian Buster 10.3 的发布，Debian Buster 日趋稳定。如果在生产上使用了 Debian 9 的系统，现在是可以安全的，灰度升级到 Debian Buster 做前期验证了。这里我们整理一下国内较知名的镜像站点，共大家在生产环境中使用。 如何更新系统安装源 一般我们修改 /etc/apt/sources.list 文件，将 Debian 的默认源地址改成新的地址即可，比如将 http://deb.debian.org 改成 https://mirrors.163.com，可使用以下这条命令： sed -i 's#http://deb.debian.org#https://mirrors.163.com#g' /etc/apt/sources.list 注意...阅读全文
NVDIMM-P非易失内存标准公布：断电不丢数据、兼容DDR4
我们知道，传统的DDR DIMM内存是易失性的，也就是必须维持通电才能保持数据，一旦断电就都没了。 Intel创造了Optane傲腾持久内存，做到了非易失性，也兼容DDR DIMM，但仅用于数据中心，和普通用户无关。 现在，JEDEC固态技术标准协会发布了DDR4 NVDIMM-P非易失内存标准规范，序列编号JESD304-4.01，也可以在断电后不丢失数据，而且完全兼容DDR4内存标准。 根据规范，这种新内存兼容普通的DIMM内存标准、固件，可以最大程度减少对于现有设备、平台的更改，同时为新内存提供了低延迟接口，提高了易用性，未来也会兼容支持DDR5。 NVDIMM-P的新功能： － 持久性：操作系统能够低延迟、高带宽访问非易失内存。 － 虚拟化的内存：在DDR通道启用尽可能多的内存容量...阅读全文
个人信息保护新规将出台 消费者被短信轰炸将成为历史
工业和信息化部将会同相关部门尽快发布实施《移动互联网应用程序个人信息保护管理的暂行规定》（简称《规定》）。《规定》将为个人信息保护提供更加坚实的政策保障。在新规的引导下，多个电商平台已经主动加强了对客户信息的保护力度。 工业和信息化部信息通信管理局的人士近日透露：“在充分吸收社会各界意见的基础上，工业和信息化部会同相关部门制定了《规定》的征求意见稿，社会各界提出了一些好的意见和建议，我们正在研究采纳。在此基础上，尽快会同有关部门发布实施。”  在征求意见稿中，管理部门明确了App开发运营者的信息保护义务。 《规定》要求...阅读全文
三位候选人正进行 2022 Debian 项目负责人选举
2022 Debian 项目负责人选举已开启，本次选举的流程和以往一样，有三位候选人：Felix Lechner、Hideki Yamane 和现任 Debian 负责人 Jonathan Carter ，三人分别以一个页面进行自我介绍，并等待社区开发者为其进行不记名投票。下面来介绍一下三位候选人。Felix Lechner同时受新时代思想以及古老宗教的启发，拥有扎实的理论基础，试图让 Debian 重新焕发活力。现担任美国加州的图书馆馆长（公务员），妻子来自中国，最好的朋友来自印度。Debian 贡献Debian 商标团队的一员，努力保护 Debian 的品牌；设计了 Debian 的密钥到期提醒功能；共同维护 了 Lintian （Debian 软件包追踪工具）及其网站；维护...阅读全文
Go 公布 2.0 设计草案：规模化和扩展性、支持泛型
去年7月，Go 语言官博就曾透露 Go 2 开发计划，并表示 Go 2 的目标就是解决 Go 1.x 在规模化方面做的还不够好的地方。随着时间的推进，开发团队已着手准备 2.0 版本的开发工作，并公布了设计草案，供社区讨论和反馈，以促进最终的语言设计。 设计草案包含三个方面，错误处理、错误值和泛型，并针对各个方面进行了详细的概述和改进草案。大致总结如下： 一、错误处理（Error handling） 为扩展至大型代码库，Go 程序必须是轻量级的，不会过度重复，且具备稳健性，能够优雅地处理出现的错误。 目前 Go 检查错误的代码太多，但处理这些错误的代码却严重不足。对于 Go 2，开发团队希望错误检查更加轻量级，减少用于错误检查的 Go 程序的文本量。此外，还能更加方便地编写错误处理程序，提...阅读全文
Go 泛型的括号选择：[ ] or ( )
( ) 和 [ ] 可供选择。然而缺少修饰的方括号会在数组和 slice 的类型声明中造成歧义，在解析索引表达式时也会引起小程度的歧义。因此在设计之初他们决定使用小括号，因为小括号似乎更符合 Go 语言的风格，而且看起来问题最少。 为了使小括号正常工作，并且为了向后兼容，他们表示不得不在类型参数列表中引入type关键字。最后，他们在参数列表、复合字面量和嵌入类型中发现了额外的解析歧义，而这些歧义需要嵌套更多的小括号来解决。不过即便如此，他们还是决定继续使用小括号，因为当时还有更重要的设计问题需要解决。 现在他们决定重新考虑这个最初的决定。如果仅使用方括号声明类型参数，那么声明数组的方式如下所示： type A [N]E 不过这就无法与泛型的声明进行区分： type A[N] E 但如果能接受额外的...阅读全文
Flatpak 1.0正式版发布：Linux 应用沙盒开发里程碑
序创建沙箱并重新启动自己，更多的主安装和更新速度，支持将应用程序标记为EOL（生命周期结束） ，以及一个新的权限验证模型。 Flatpak 1.0可以公开主机的TLS(传输层安全)证书到沙箱应用程序，支持最新的OCI捆绑包规范，允许沙箱应用程序请求访问主机的SSH(Secure Shell)代理，以安全访问Git存储库或远程服务器，并允许应用程序访问蓝牙设备。 此外，通过USB闪存驱动器或本地网络安装Flatpak应用程序的P2P安装方法现在默认启用，并且在所有版本中都得到支持。在Flatpak 1.0中实现了一个新的后备X11权限，允许X11访问在X11会话中运行的Flatpaks应用程序。 Flatpak 1.0还引入了一个名为flatpak-spawn的新工具，可用于运行主机命令并从应...阅读全文
Debian 9 Stretch 安装配置 Caddy Server
] ... Environment=CADDYPATH=/etc/ssl/caddy + Environment=CLOUDFLARE_EMAIL=xxx + Environment=CLOUDFLARE_API_KEY=xxx ... 写完配置后输入 sudo systemctl start caddy.service 启动 Caddy。输入 journalctl --boot -u caddy.service 可以查看日志。 启用 QUIC 关于 QUIC 的介绍，可以看一下这篇文章，一句话概况呢就是减少 TLS 握手次数，加快网站速度。 修改 /etc/systemd/system/caddy.service ，在 ExecStart=/usr/local/bin/caddy -log stdout -agree...阅读全文
Angular 6.0 即将发布 承诺更小更快更易用
本月早些时候，Angular 团队发布了 6.0 的第五版候选版本 ，其中包括一些错误修复以及添加令牌标记和支持配置导航网址。 根据 Angular 的开发者支持者 Stephen Fluin 的说法，RC 意味着团队已经在一定程度上实现了正式版的稳定性，并且已经完成了添加功能和更改 API。 Fluin 还解释说，该团队有两个发布曲目。 首先，他们向公众发布了新闻稿，其中包括团队对 Angular 所做的每一项变更，并将其合并到主分支中。 第二个是谷歌将所有的 Angular 源代码放在一个存储库中，这意味着 Angular 的每一个变化都已经在谷歌的超过 500 种产品中使用。 6.0 版本的关键功能是将所有版本的框架结合起来，这意味着核心路由器，平台浏览器，CLI，Angular...阅读全文
Debian 上安装搭建 Shadowsocks 服务
-cfb, aes-192-cfb, aes-256-cfb,**bf-cfb, camellia-128-cfb, camellia-192-cfb,**camellia-256-cfb, cast5-cfb, des-cfb timeout：连接超时时间，单位秒。要适中。 如果客户端有OpenWRT路由器等设备，推荐rc4-md5，性能更好；否则可以选用安全性更好的aes-256-cfb等，不过计算复杂度上升，会有性能的损失，不过对于PC机以及现在的只能手机来说没有任何问题。路由器性能较弱所以可以考虑rc4-md5 保存配置文件后，就重启 shadosocks-libev 服务 $ service shadowsocks-libev restart 然后就搭建完成了，查看shadowsocks...阅读全文
Postgres 10 开发者新特性
目前非常流行的RDBMS PostgresSQL已经在几周前发布了它的第10个版本。由于Postgres的可靠性、节约成本、成熟，当然还有它的开源，已经21岁的Postgres在开发者之中仍旧非常流行。 Postgres 10带来了一些新特性，其中一些特性另开发者感到十分兴奋。10Clouds在博客中详细介绍了其中的一些特性。通过消除主表（master table）中触发器（trigger）的需求，本地分区（native partitioning）现在变得更简单了。这意味着创建分区表将变得更简单，并且从开发者的角度来看，现在从分区数据表中进行查询和插入与在非分区的数据表进行这些操作是完全一致的。 多列统计（multicolumn statistics）是Postgres 10的另一项改进...阅读全文
DNS SRV：使用DNS服务器做服务发现
级的记录，按照权重选择，记录的权重越高，被选择的可能性越高。 选择的时候，将所有记录的权重值累加，得到一个选择区间[0,sum]，每个记录在[0,sum]中占据一段连续的、长度为自身权重值区间。然后生成一个[0,sum]中的随机数，随机数落在的区间所属的记录就是被选择的记录。 注意事项 在使用DNS SRV的时候，要注意DNS Client是否按照预期的方式处理收到的SRV记录。当前DNS SRV只能够负责提供服务地址列表，对这个列表如何解读，完全取决于Client的实现。rfc-1035中规定，通过UDP协议传输DNS响应时，UDP报文的负载不能超过512字节，在添加 SRV 记录的时候，要特别注意。通过TCP传输时没有512字节的限制。当一个服务地址有多个相同优先级的SRV记录的时候...阅读全文
使用 nvme-cli 工具来了解你的 NVMe 驱动器
Management T2 Trans Count : 0 Thermal Management T1 Total Time : 0 Thermal Management T2 Total Time : 0这为你提供了硬盘的当前温度、到目前为止的使用时间、不安全的关机次数等等。格式化一个 NVMe 驱动器你可以用 nvme-cli 格式化一个 NVMe 驱动器，但要注意。这将删除驱动器上的所有数据！如果你的硬盘上有重要的数据，你必须在这样做之前将其备份，否则你将会丢失数据。子命令是 format：$ sudo nvme format /dev/nvme0nX（为了安全起见，我用 X 替换了驱动器的实际位置，以防止复制粘贴的错误。将 X 改为 1 或 nvme list 结果中列出的实际位置。）安全地擦除...阅读全文
Harbor项目发布v1.7 2018圆满收官
2018年，Harbor开源镜像仓库项目取得了长足的进步，硕果累累：全年共发布了5个大版本，28 个小版本，社区代码贡献者超过110名，Github 上的星星从年初 3000+ 增至 6400+。全球范围内，将 Harbor 应用于生产系统的用户更是数以千计。 Harbor 开源项目于今年8月捐献给云原生计算基金会（CNCF），成为首个源创于中国的CNCF项目。 不久前，Harbor在中国首届 KubeCon + CloudNativeCon 上，再度晋级，成为 CNCF 第19个孵化级（incubating）项目，项目团队还登上大会主场舞台，和用户分享这一激动人心的历史时刻。于此同时，该大会上，Harbor 社区还联合 CNCF 举办了 Harbor 社区线下活动，并为 Harbor 项...阅读全文
Facebook 开源的一组 Linux 内核组件与工具
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
高性能日志采集工具 logpipe 简单介绍
日志文件增长，某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名，架构上要支持多输入多输出流式日志采集传输，为了达成以上需求，我研究了所需技术，评估实现难度并不高，就自研了 logpipe。 logpipe 是一个分布式、高可用的用于采集、传输、对接落地的日志工具，采用了插件风格的框架结构设计，支持多输入多输出按需配置组件用于流式日志收集架构，无第三方依赖。 logpipe 的一种用法是能异步实时监控集群里的所有日志目录，一旦有文件新增或追加写，立即采集并传输到大存储上以相同日志文件名合并落地，或者写入 HDFS。异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文
Ceph 基金会正式成立 接受 Linux 基金会的管理
2018年11月12日，北京时间16:00，Linux基金会在德国柏林“Ceph Day”上正式宣布成立“Ceph基金会”来支持Ceph开源项目。Ceph基金会接受Linux基金会的管理，它的成立将为Ceph社区的合作和成长提供一个中立的机构。高级会员和一般会员每年缴纳会员费，准会员是教育机构或政府组织，并被邀请免费加入。 理事会由所有高级成员，普通成员代表，准成员代表和Ceph领导团队（技术治理机构）代表组成。董事会负责： 建立并批准用于支持Ceph项目的年度预算 建立特设委员会以满足项目的当前需求 协调外展或营销 定期开会讨论基金会活动，Ceph项目的现状以及整体项目战略 在董事会面前对任何决定或事项进行投票 Ceph基金会董事会不对Ceph的技术治理负责，也没有任何直接控制权。开发和...阅读全文
Linux 5.11窗口合并期今天结束 引入大量新特性
成合并.- AMD Energy 驱动中支持 Zen 3 EPYC .- 合并The AMD SB-TSI 传感器驱动，用于AMD新服务器平台上的边带温度传感器接口。- 为 Zen 2 或更高版本提供 AND Frequency Invariance 支持 .- The AMD SoC PMC 驱动 已经 mainlined ，帮助移动/嵌入式硬件的电源管理。- 全新的英特尔驱动 Intel IGEN6 driver 用于带内ECC与新的客户端SoC，初步支持 Elkhart Lake / Atom x6000E。- 另一个新的英特尔驱动是 RFIM code for Radio Frequency Interference Mitigation ，在选定的SoC上调整集成电压常规和DDR频...阅读全文
除了HighScalability 还有哪些介绍网站拓扑、架构的站点
://news.ycombinator.com • 特点： • 知名的技术社区，很多工程师分享真实项目架构分析、扩展性实践、高并发设计等话题，信息新鲜度高。📌 11. Medium • 网址：https://medium.com • 特点： • 汇聚大量一线公司的架构分享，如Uber、Lyft、Spotify、Pinterest等。 • 搜索”scalability architecture”、“system design”，能获取非常多优质内容。🗂 最终推荐 • 企业级高性能架构深入阅读： • 推荐InfoQ、Netflix Tech Blog、AWS Architecture、Facebook Engineering Blog • 快速学习系统架构与设计知识： • 推荐System Design Primer、The...阅读全文
使用 Go 语言的三个原因
定不是提供这些安全保障的第一个主流语言，Java（1995）可能是该冠军的竞争者。关键是，世界对不安全的编程语言没有胃口，所以人们默认认为，Go 是内存安全的。 开发人员生产力 从 20 世纪 70 年代末，开发人员的时间变得比硬件所耗费的时间更昂贵了。开发人员的生产力是一个不断扩展的话题，但它归结为这一点：你花了多少时间做有用的工作，又有多少时间等待编译器或者失望地迷失在外部代码库中。 有个笑话说 Go 是在等待 C ++ 程序编译 时开发的。快速编译是 Go 的一个重要功能，也是吸引新开发人员的关键工具。虽然编译速度仍然是一个 永久的战场 ，但公平地说，在其他语言中需要几分钟的编译，在 Go 中只需要几秒钟。 Go 程序员意识到生产力的更根本的问题是代码是 为了读而写的 ，所以将 代码的...阅读全文
Docker更名Moby，也是无奈之举
宣布推出“Moby项目”，将其旗下的Docker产品(包括DockerCE与Docker EE两款商用产品)从Docker开源项目当中剥离出来。同时，Moby也将成为面向特定基础设施创建定制化容器软件的重要起点。 在接受电话采访时，Docker公司市场营销与社区高级副总裁David Messina指出，DockerCon大会与会者已经得到了这一明确通告。 Messina表示，“Moby项目属于Docker项目的全新上游”，用户将可利用该开源代码库克隆出自己需要的系统。 Messina同时承认此次更名在一定程度上可能引发误解。他指出，“无论何时，开源世界中的重大改进总会引发混乱，但我们并不是有意要制造麻烦。” 尽管如此，该公司于两年前决定将其容器软件从基础设施组件(包括runc...阅读全文
Qt5.9发布：如何评价QT
Quick Controls 2的功能增强，还有基于openGL shader cache 对QML进行类型缓存， 以及.qml / .js文件生成的代码和数据结构的缓存的支持。 这些功能将大大提高使用Qt构建的设备的启动速度。 发布新Qt Creator 4.3.0，Quick Designer里面也看以同时看到和编辑qml code了! 作为Qml项目开发者确实立刻感到了方便！ 还有新框架将允许Qt团队更容易创建新版本，包括修补程序和发布次要版本。 引入自动化性能回归测试，使得对Qt的监控与提高加强。 安全方面，Qt 5.9正式支持INTEGRITY RTOS。 确实越来越多的RTOS应用程亟需要更高级GUI框架来满足用户期望呢。 操作系统和硬件方面，Qt 5.9完全同时支持传统的Win32应用...阅读全文
三大亮点带你看 Linux 内核 5.6
版中，硬件支持也将继续提升。而支持新式无线外设的计划也同样是优先的。 新内核中将增加对 MX Master 3 鼠标以及罗技其他无线产品的支持。 除了罗技的产品外，你还可以期待获得许多不同硬件的支持（包括对 AMD GPU、NVIDIA GPU 和 Intel Tiger Lake 芯片组的支持）。 6、其他更新 此外，Linux 5.6 中除了上述主要的新增功能或支持外，下一个内核版本也将进行其他一些改进： 改进 AMD Zen 的温度/功率报告修复华硕飞行堡垒系列笔记本中 AMD CPU 过热开源支持 NVIDIA RTX 2000 图灵系列显卡内建 FSCRYPT 加密 Phoronix 跟踪了 Linux 5.6 带来的许多技术性更改。因此，如果你好奇 Linux 5.6 所涉及的全...阅读全文
谷歌如何为数十万台设备更新内部 Linux 发行版 - OSCHINA
正在直播2022开放原子全球开源峰会！>>>>> 谷歌内部使用了许多不同的操作系统平台，其中包括 Linux。15 多年前，谷歌选择基于 Ubuntu LTS 构建内部 Linux 发行版 Goobuntu，主要是看中了 Ubuntu 具备用户友好、易于使用的特性，以及提供了许多优秀功能。此外，LTS 会获得 Canonical 提供 2 年以上的安全更新。 根据官方介绍，Goobuntu 是谷歌长期以来一直使用的 Linux 发行版。不过 Ubuntu LTS 的两年更新周期意味着谷歌必须在操作系统 EOL 之前，对超过 10 万台设备中的每台机器进行升级。这是一项非常困难且耗时的工作，毕竟每两年让所有工程师从头开始配置他们的工作空间，这对生产力是严重的打击，并且从经济角度来看也是一个不...阅读全文
Google 关于 Go 2 的讨论
语化的标识符或添加二进制整型字面量”等轻微改变，因为“这些改变很容易实现”。 Cox谈到了重大变化，例如“对错误处理的额外支持，或引入不可变或只读值类型，添加某种形式的泛型或其他尚未被建议的重要主题。” 从Google的角度来看，Go 2的主要目标是“解决Go在可扩展性方面的重要不足”。Cox提到了生产期的扩展性（云环境中运行并发应用）和开发期的扩展性（大量的开发人员在一个较大的代码库上并行协作）。 大部分主题是介绍和解释用于修改Go的五个步骤： 有关此过程的更多详细信息，我们建议您阅读博客文章Toward Go 2。有兴趣为Go 2推荐新功能的用户请参考GitHub上的关于该语言的Wiki。 查看英文原文：Google Discusses Go 2 感谢张卫滨对本文的审校。...阅读全文
历数2017年五大Linux痛点
统的消失 许多用户都在哀叹他们最喜爱的发行版和软件项目中不再支持32位操作系统。越来越少的产品继续支持32位平台，这将会带来市场份额的降低和用户的流失。幸运的是，我们谈论的是开源，所以只要有人还在关心32位平台，你至少会有几个32位系统可选择。 5.不支持X-forwarding 很多长期用户经常使用X-forwarding，并将其看作一个关键功能。但随着Linux有越来越多的人使用，其对于X-forwarding的测试和支持有所减少，尤其是新应用程序。随着网络的透明度不断发展，情况可能会在好转之前变得更糟。 与去年相比有哪些变化 ·视频（特别是加速器加速；最新的视频卡；专用驱动程序；高效的电源管理） ·蓝牙支持，特定的wifi芯片和打印机，电源管理以及暂停/恢复，对许多用户来说仍然是麻烦的...阅读全文
腾讯在贵州有个山洞：放置腾讯业务最核心数据
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
Focalboard ：一款开源、本地存储、免费的类 Notion 应用
从 Notion 到 Focalboard近两年来，Notion 作为一款在线笔记应用，以其强大的功能和优雅的颜值获得了大量用户的关注和喜爱。大量的用户通过 Notion 的 Block 、Database等功能，挖掘了适合教育、营销、市场管理、开发等多个场景的使用模版。然而，Notion 在国内使用也有不少槽点：加载速度慢、迟迟没有提供汉化版、不能离线使用、本地存储等。当然，这些槽点也有一些解决方案。比如，针对网络问题，可以使用 Notion Fast等插件进行加速；针对语言问题，现在已经有了非官方的汉化方案。离线使用和本地存储的话，不知道 Notion 是否有相关规划。Notion对于一些用户而言，由于工作环境存在数据加密等需求，离线使用和本地存储成为刚需。对此，Anytype 这款开...阅读全文
谷歌公开了内部管理Infra层的两个工具的Paper
。 配置Gap 从基础架构提供者的角度看，给定服务的配置很容易有很多冗余。在Shakespeare服务里，所有东西都是用相同的用户完成的，因此给每个前端job指定用户就是多余的。但是，因为基础架构需要运行很多服务的job，配置上仍然必须为每个job指定用户。 基础架构提供者的简单解决方案是提供更为强大的配置界面——比如，一种模版语言。但是，从服务的角度来看，这样的方案并没有根本性地消除冗余。服务需要配置多个提供者，这些提供者的一些信息通常是一样的。比如，数据库名字对于使用它的job（计算提供者）和配置数据库的job（数据库提供者）都是需要的。 在这些场景里，配置系统都很有用。不管谁维护服务，都可以创建这些服务的高层级描述（比如，在集群x，y，z里运行N任务），并且配置系统将这些描述扩展成更适合每...阅读全文
Debian Live 项目的剧变
尽管围绕 Debian Live 项目发生了很多戏剧性事件，关于 Debian Live 项目结束的公告的影响力甚至小于该项目首次出现时的公告。主要开发者的离开是最显而易见的损失，而社区对他本人及其项目的态度是很令人困惑的，但是这个项目也许还是会以其它的形式继续下去。 所以 Debian 仍然会有更多的工具去创造启动光盘和其他介质。尽管是用这样一种有遗憾的方式，项目创始人 Dabiel Baumann 和 Debian CD 团队以及安装检测团队之间出现的长期争论已经被「解决」了。 在 11 月 9 日， Baumann 发表了题为「 Debian Live 项目的突然结束」的一篇公告。在那篇短文中，他一一列举出了自从这个和他有关的项目被发起以来近 10 年间发生的不同的事件，这些事件可以...阅读全文
社交巨人Facebook使用Linux和Btrfs的姿势
针对性地使用Btrfs的一些特性来提高我们手头工作的性能。我们比较关注在系统任务管理、快照之类的事情上。 Linux.com：我们都知道Facebook是Linux的重度用户。在Facebook庞大的基础设施里，哪些地方用到了Linux？ Chris Mason：简单地说，Facebook所有的基础设施都使用了Linux。围绕分布式操作系统我们利用了Btrfs的很多特性，比如分布式任务管理、利用快照功能快速更新以及哈希校验功能，等等。 我们在相当数量的机器上运行着Gluster——既支持XFS也支持Btrfs，我们的目标就是做好存储这件事。在Gluster上喜欢用Btrfs的其中一个原因是，数据循环冗余校验（cyclic redundancy checks）和元数据循环冗余校验使我们能够检测...阅读全文
Linux系统诊断-内存基础
-cachedfree: 未使用的内存 memFree & swapFree in /proc/meminfoshared: tmpfs使用的内存 shmem in /proc/meminfobuffers：被内核缓冲去使用的内存cached: 被页缓存和slabs使用的内存buffers/cache： 表示buffers和cache的总和swap： 交换分区的使用量2.3 buffer和cache会使用内存吗？答案是肯定的，先来了解下buffer和cache。cache（缓存）官方定义是用来弥补高速设备和低速设备之间的访问速度不匹配而预留的一段空间，用来加快资源的访问。 简单讲就是读的更快。buffer（缓冲）是为了做资源写入整形，计算机遇到大量的“小规模IO”时，会将其整形为少量的“大规模IO”，降低写入次...阅读全文
Debian 10.8 发布：包括多项安全更新和错误修复
/src:fcitx) | 修正Flatpaks中的输入法支持 | | [file](https://packages.debian.org/src:file) | 默认情况下，将名称递归深度增加到50 | | [geoclue-2.0](https://packages.debian.org/src:geoclue-2.0) | 检查最大允许的准确度水平，即使是对系统应用程序也是如此；使Mozilla API密钥可配置，默认使用Debian特定的密钥；修复使用指示器的显示 | | [gnutls28](https://packages.debian.org/src:gnutls28) | 修复证书过期导致的测试套件错误 | | [grub2](https://packages.debian.org...阅读全文
如何在 Debian 下配置邮件服务器
本教程将讨论如何在Debian（或Ubuntu）配置一个可工作的邮件服务器。我们知道在邮件服务器使用的主要协议有SMTP、POP和IMAP。在本教程中，SMTP协议使用postfix，POP/IMAP协议使用dovecot。两者都是开源的、稳定的和高度可定制的。本教程中不会介绍邮件服务器的安全性，这超出了本文的范围。 1.先决条件 每个域必须有一个DNS服务器。建议不要使用Live域用于测试目的。在本教程中，将在实验室环境中使用测试域example.tst。在这个假设域名的DNS服务器应该在至少以下记录。 example.tst的forward zone配置： IN MX 10 mail.example.tst. mail.example.tst. IN A 192.168.10.1...阅读全文
Go 语言的大版本更新：Go 2.0 安排上了
废话不多说，先来看看 Go 2.0 有哪些值得关注的内容： 最大程度保持对 1.x 的兼容，以避免分裂 Go 语言生态系统 采用增量升级的方式，而非单独发布重大更新版本 实施新的提案评估流程，以评估尚未解决且被标记为提案的 issue 将会在 Go 1.13 版本中选择 Go 2 部分的提案 背景 早在2017年的 GopherCon 大会上，Russ Cox（Go 核心开发团队的技术 leader）就已经正式开始思考 Go 的下一个大版本（相关文章）。当时官方非正式地将它称为 Go 2，但我们知道，所谓的 Go 2.0 并非一个单独的重大更新版本，而是通过“增量更新(incremental)”的方式以逐渐抵达 "Go 2.0"。所以本文对这个未来版本的称号 —— 也暂且用 Go 2 来描...阅读全文
最新评论
