Facebook 工程师 Nick Terrell 近日向 Linux 内核提交了使用 Zstd 压缩 Linux 内核镜像的补丁，这些补丁显示了使用 Zstd 对内核、ramdisk 和 initramfs 进行压缩操作具备巨大潜力。 Nick 发现，在 x86_64 硬件上，当初始 RAM 文件系统将压缩算法从 XZ 切换到 Zstd 时，解压时间从 12 秒下降到只需 3 秒，此次切换整体上还给系统的引导时间带来了两秒的改进。同样看到较大改进的场景包括从 LZMA 切换到 Zstd，Nick 在切换至 Zstd 的 Facebook 服务器上发现解压时间从 12 秒下降到了 8 秒。 相关基准测试结果可查看 https://lkml.org/lkml/2020/7/1/722 至于压...阅读全文
=tsm1_compact_group op_event=start ... #省略 ... #第四次全量压缩结束 ts=2021-01-05T10:44:13.931365Z lvl=info msg="TSM compaction (end)" log_id=0RVRbtjl000 engine=tsm1 tsm1_strategy=full tsm1_optimize=false trace_id=0RWXOKGG000 op_name=tsm1_compact_group op_event=end op_elapsed=851881.724ms ... ...此时influxdb进行分片数据的第四次的全量压缩，会进行大量的磁盘io及cpu压缩计算，导致服务的压力增大，所以调用方队列出现数据堆积，相关参数见配置文件...阅读全文
原因。 同样，Ubuntu 20.04 LTS 将支持 WireGuard。 2、支持 USB4 Linux 5.6 也将支持 USB4。 如果你不了解 USB 4.0 (USB4)，你可以阅读这份文档。根据文档，“USB4 将使 USB 的最大带宽增大一倍并支持多并发数据和显示协议multiple simultaneous data and display protocols。” 另外，虽然我们都知道 USB4 基于 Thunderbolt 接口协议，但它将向后兼容 USB 2.0、USB 3.0 以及 Thunderbolt 3，这将是一个好消息。 3、使用 LZO/LZ4 压缩 F2FS 数据 Linux 5.6 也将支持使用 LZO/LZ4 算法压缩 F2FS 数据。 换句话说，这只...阅读全文
中列出的程序，比如笔者安装的WeChat，这时Remove按键高亮，点击Remove即可卸载想要安装的程序。这样能够安装一些简单的软件。比如可以安装360压缩，然而wine安装的360压缩打开来自Windows压缩的zip文件”入乡随俗“一样是乱码，而Windows的360压缩或者其他压缩软件就能够正常不乱码解压。值得一提，4G以下的zip文件在Linux下可以用unar命令直接unar XXX.zip解压，而且不会乱码。 有输入框的如微信、QQ与TIM 参考文章wine新版 wine-5.12 微信、QQ 等软件输入框无法输入的问题解决办法，安装这类软件需要安装winetricks，直接输入如下命令安装 sudo apt install winetricks 然后输入 winetricks...阅读全文
推荐的加密和散列证书，而不是使用不安全算法的老化证书。 不过，本周一时，DigiCert 的 Timothy Hollebeek 却反对将证书有效期缩短至 13 个月，他认为，缩短证书寿命确实带来的好处，但意味着要有更好的方法来确保证书是最新的和安全的，同时也存在一些麻烦，企业不得不每年续签一次付费证书，并且增加其成本。 换句话说，减少有效期可能会促使企业免费使用 Let's Encrypt TLS/SSL，就不会向 Digicert 这样的机构支付费用。Let's Encrypt 可以免费发放 90 天的 HTTPS 证书，使用提供的软件客户端来自动更新和部署证书，而由于几乎所有浏览器和操作系统都支持 Let's Encrypt TLS/SSL 证书，导致该服务正给向 HTTPS 证书收费...阅读全文
Checkpoint 机制痛点 目前 Flink 触发 Checkpoint 是依靠 barrier 在算子间进行流通，barrier 随着算子一直往下游进行发送，当算子下游遇到 barrier 的时候就会进行快照操作，然后再把 barrier 往下游继续发送。对于多路的情况我们会把 barrier 进行对齐，把先到 barrier 的这一路数据暂时性的 block，等到两路 barrier 都到了之后再做快照，最后才会去继续往下发送 barrier。 现有的 Checkpoint 机制存在以下问题： 反压时无法做出 Checkpoint ：在反压时候 barrier 无法随着数据往下游流动，造成反压的时候无法做出 Checkpoint。但是其实在发生反压情况的时候，我们更加需要去做出对数据的...阅读全文
extract目录下dpkg -X ../openssh-xxx.deb extract/#解压出包的控制信息extract/DEBIAN/下：dp... deb解压软件 01-04 用于解压deb文件，后续可以用其它软件将解压后的文件转ipa 获取deb包并进行解压方法 狂客队长 05-26 1万+ 获取deb包： apt-get download 包名 解压deb包： 在这里保证你已经下载好了deb包，并且自己已经在deb包所在的目录了，然后解压缩deb包 ar -x pakname.deb 解压deb完毕后会发现多出几个文件，这里主要用到data.tar.gz等包，这个是放着二进制文件的包，用tar解压这个包 tar -zxf data.tar.gz Ubuntu中deb包详解及打包教程 张懿的博...阅读全文
。 SSD则是外部存储，用来长久保存数据，属于非易失性存储，断电后数据还在，但是相对速度慢、延迟高，HDD机械硬盘、U盘、光盘等也是此类。 SSD的存储介质是NAND闪存颗粒，需要施加不同的电压、改变内部状态来存储数据，随着时间的流逝、读写次数的增加，会出现物理性的损耗，最终不可用。 NAND闪存的寿命一般用P/E编程擦写次数来描述，写满一次容量就损失一次P/E。 SLC大约是10万次，MLC只有5000次左右，TLC就只大概2000次，QLC仅为1000次上下，所以不得不依靠更多管理技术和算法来辅助，以保持寿命。 但另一方面，SLC、MLC、TLC、QLC的存储密度越来越大，SSD容量也越来越大，写满的概率越来越低，所以整个SSD的实际寿命其实并没有大大缩短，一般应用无需过分担忧寿命问题。...阅读全文
gRPC 1.23.0 发布了。gRPC 是 Google 开源的高性能、通用 RPC 框架，面向移动和 HTTP/2 设计，是由谷歌发布的首款基于 Protocol Buffers 的 RPC 框架。gRPC 基于 HTTP/2 标准设计，带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特性。这些特性使得其在移动设备上表现更好，更省电且节省空间占用。 主要更新内容如下： Core 反向移植 #19924 到 v1.23.x. (#19935)为自定义 iomgr 添加缺少的 APP 回调上下文 (#19687)将 DNS 重新解析期间的下限提高到 30 秒 (#19661)确保在 H2 的框架中至少有一个标题 (#19657)在使用 gevent 时分叉时修复段错误...阅读全文
虽然GIMP 3.0的开发工作拖拖拉拉，但GIMP 2.10.x稳定系列继续迎来新的功能。今天新出炉GIMP 2.10.22支持基于AV1的AVIF图像格式的导入和导出。AVIF是一种非常有前途的图像格式，基于免版税的AV1技术，已经被Firefox和Google Chrome等网络浏览器支持，同时继续在其他照片/图像软件中得到采用。 相比较 WebP 和 JPEG 等格式，AVIF 的压缩能力明显更好。AVIF 支持全分辨率下的 10 位和 12 位色彩，以及高动态范围（HDR）。AV1 还使用了一种新的压缩技术：从色度到亮度。大多数图像格式将亮度与色相分开存储。AVIF 使用亮度通道来猜测颜色通道的样子，它们通常是相关的，所以AVIF可以提供更小的文件大小和更清晰的边缘。 不仅如此...阅读全文
资源，从而获取虚拟货币的一种程序，需要较高的硬件配置及用电量。 而单凭一个矿工的力量是挖不到比特币的。于是“安某”便想到可以利用自己的职务之便利用百度的服务器来开启自己的发家致富之路，只是他可能没想到的是事情会败露的这么快。 那么，他具体是怎么做的呢？ 首先，他用自己的工作账户上传了一个压缩文件 miner.tar.gz ，其中包含一个名为 java_4u3 的脚本， 而这个脚本可以自动执行解压缩、创建目录、删除目录、自动连接代理进行网络交换，达到控制服务器的目的。 然后，编译了一个挖矿程序，并将上述程序部署非法控制了百度的 155 台服务器上，利用公司为其配备的苹果电脑上的 iterm 软件控制所有服务器的中控机，通过中控机上传挖矿脚本，并通过 iterm 软件发出批量下载指令，让 200...阅读全文
制 ：这是 PostgreSQL 在物理复制之外提供的另一种可选方案，提供了更大的灵活性，而且配置简单。 改进并行查询 ：在查询很多时应该会有 2 到 4 倍的速度提升。 更强大的密码哈希算法 ：使用了 SCRAM -SHA–256。 关于 PostgreSQL 10，还有更多的特性正在开发之中，就像 2ndQuadrant 创始人兼首席执行官 Simon Riggs 在最近的一次演讲中所 介绍 的那样。包括 PostgreSQL 10 官方路线图在内，正在进行中的特性开发工作还有诸如以下这些： 自治事务 多主集群，使用 分片 提高扩展性和可用性 查询 JIT 编译 可插拔的存储引擎（columnar、内存内存储等） 页级数据压缩等 改进临时表性能 不过，哪些特性将成为 PostgreSQL...阅读全文
、GlobalFoundries已经纷纷开始或准备量产7nm，AMD Zen2架构产品明年也会上7nm。 虽然Intel一再宣称自己的工艺比对手领先一个时代，但现在的问题是，就算对手的7nm只相当于你的10nm，人家也已经在量产阶段了，这是无法回避的。再加上AMD步步紧逼，作为几十年龙头老大的Intel，身上的压力可想而知。 相信这也是Intel挖过来Jim Keller，共同推进新工艺的关键原因。当然，Jim Keller擅长的是架构设计，而不是工艺制造，因此在Intel更多的应该也就是配合工艺技术、研发和生产进度，优化架构和产品设计，帮助尽快落地上市。 之前还有消息说，Intel已经在调整10nm工艺，为了能尽快量产而降低技术要求，所以最终我们看到的Intel 10nm可能只是个缩水版，也就谈不上比肩对手7nm了。...阅读全文
容视图中，管理员现在可以使用新列“创建日期”过滤存储的数据，例如，该列可以简化从特定日期开始搜索备份的过程。可以无缝更改 Web 界面的语言，而无需重新启动会话。添加了阿拉伯语翻译，因此 Proxmox VE 总共支持 20 种语言。 Linux 容器： 集成容器技术已更新为 LXC 4.0.2 和 lxcfs 4.0.3。Proxmox VE 6.2 现在允许在基于目录的存储上为容器创建模板。适用于 Ubuntu 20.04、Fedora 32、CentOS 8.1、Alpine Linux 和 Arch Linux 的新 LXC 模板。 Zstandard用于备份/还原： 集成的备份管理器支持快速高效的无损数据压缩算法 Zstandard（zstd）。 用户和权限管理： Proxmox...阅读全文
有手动创建或导入的镜像来改变这一点，仅作为缓存条目存储的镜像不会被复制。 CLI 覆盖默认项目 由于不得不经常使用 lxc 项目切换来在项目之间切换客户端，因此与多个项目进行交互可能会很繁琐。当想要在特定项目中执行的操作是一个简单的操作（如启动容器）时尤其如此。 LXD 3.8 现在在整个命令行客户端都有一个 –project 选项，它允许覆盖特定操作的项目。 ZFS 压缩支持 迁移协议提供了 ZFS 压缩支持。 此外还有大量 bug 修复与其它功能，详情查看 发布公告 。 下载地址：https://linuxcontainers.org/lxd/downloads/ Debian社区网站内容即将同步至腾讯云+社区，邀请大家点击链接，一同入驻。...阅读全文
常用开发环境、生产环境简写的含义及用途 DEV、SIT、UAT、PET、SIM、STG、PRD 缩写介绍 按开发、测试、上线的时间线排序： - DEV Development 研发环境 - SIT System Integrate Test 系统集成测试环境（内测） - UAT User Acceptance Test 用户验收测试环境 - PET Performance Evaluation Test 性能评估测试环境（压测） - STG Staging 更接近生产的功能验收、测试环境 - SIM Simulation 高仿真环境 - PRD Production 正式/生产环境...阅读全文
。 BlueStore支持Ceph存储的所有的完整的数据和元数据校验。 BlueStore内嵌支持使用zlib，snappy或LZ4进行压缩。（Ceph还支持zstd进行RGW压缩，但由于性能原因，不为BlueStore推荐使用zstd）。 EC池现在完全支持覆盖，允许它们与RBD和CephFS一起使用。 ceph-mgr: ceph-mgr是一个新的后台进程，这是任何Ceph部署的必须部分。虽然当ceph-mgr停止时，IO可以继续， 但是度量不会刷新，并且某些与度量相关的请求（例如，ceph df）可能会被阻止。我们建议您多部署ceph-mgr的几个实例来实现可靠性。 ceph-mgr守护进程daemon包括基于REST的API管理。注：API仍然是实验性质的，目前有一些限制，但未来会成为API管理的基础...阅读全文
转档功能，用以替代应用日志库对应功能，提高应用日志库写日志性能。该插件支持数据压缩。 logpipe-output-file 一旦输入插件有消息产生后用相同的文件名落地文件数据。该插件支持数据解压。 logpipe-input-tcp 创建 TCP 服务侦听端，接收客户端连接，一旦客户端连接上有新消息到来，立即读取。 logpipe-output-tcp 创建 TCP 客户端，连接服务端，一旦输入插件有消息产生后输出到该连接。 logpipe-input-exec 执行长命令并捕获输出 logpipe-output-hdfs 一旦输入插件有消息产生后用相同的文件名落地到 HDFS 中。该插件支持数据解压。 使用者可根据自身需求，按照插件开发规范，开发定制插件，如 IBMMQ 输入插件...阅读全文
持在 tls 和 kcp 之后进行自定义加密, 也就是说自定义加密和 tls|kcp 是可以联合使用的, 内部采用 AES256 加密, 使用的时候只需要自己定义一个密码即可。 底层压缩高效传输，http(s)\sps\socks 代理在 tcp 之上可以通过自定义加密和 tls 标准加密以及 kcp 协议加密 tcp 数据, 在加密之后还可以对数据进行压缩, 也就是说压缩功能和自定义加密和 tls|kcp 是可以联合使用的。 安全的 DNS 代理，可以通过本地的 proxy 提供的 DNS 代理服务器与上级代理加密通讯实现安全防污染的 DNS 查询。 负载均衡, 高可用,HTTP(S)\SOCKS5\SPS 代理支持上级负载均衡和高可用, 多个上级重复-P 参数即可. 指定出口 IP...阅读全文
Linus Torvalds 宣布推出最新的 Linux Kernel 4.14 稳定版，并开始接受 4.15 合并请求。 Linux 4.14 带来了许多新功能和变化，主要包括对驱动程序和硬件启用的改进，文件系统调整和性能优化等等，并将成为下一个长期支持版本（LTS）。 该版本优化了对 x86_64 硬件的内存支持，从原来的 256TiB 虚拟地址空间和 64TiB 物理地址限制优化至 128PiB 和 4PiB 。 其他更改： 新 Realtek Wi-Fi 驱动（RTL8822BE) 支持 Btrfs Zstd 压缩 支持 HDMI CEC（Raspberry Pi） 内存安全加密（AMD EPYC 处理器） 支持华硕 T100 触摸板 Heterogeneous Memory...阅读全文
Omi 5.0.5 已发布。Omi 是腾讯开源的下一代 Web 框架，去万物糟粕，合精华为一，让 JSX、Web Components、Proxy、Store、Path Updating 在一起。Github地址：https://github.com/Tencent/omi/ OMI 特性： 小巧的尺寸(gzip压缩后仅4kb) 真正的 MVVM, 拥有 mappingjs 强力支持 支持 TypeScript 响应式数据绑定 增强了 CSS, 支持 rpx 单位，基于 750 屏幕宽度 基于 Shadow Dom 设计 利用Chrome 开发工具扩展 轻松调试，从 Chrome 应用商店安装 符合浏览器的发展趋势以及API设计理念 Web Components + JSX 相互融合为一个...阅读全文
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。KRaft 使用了Raft共识算法的一种基于事件的变体，因此得名。随 KRaft...阅读全文
OpenSSL 1.1.1 已发布，这是新的长期支持版本（LTS），开发团队承诺至少提供五年支持。自 1.1.0 发布以来，已有超过 200 位个人贡献者提交了近 5000 个 commits。OpenSSL 1.1.1 最重要的变化就是添加对 TLS v1.3 (RFC8446) 的支持。 TLS v1.3 的优势包括： 由于减少了客户端和服务器之间所需的往返次数，缩短了连接时间。 在某些情况下，客户端能够立即开始将加密数据发送到服务器而无需与服务器进行任何往返（称为 0-RTT 或“early data”）。 由于删除了各种过时和不安全的加密算法及握手加密，提高了安全性。 OpenSSL 1.1.1 其他亮点包括： 完全重写 OpenSSL 随机数生成器以引入以下功能： The...阅读全文
系统菜单中的 Lite Tweaksv 工具，选择“Kernel Installer”功能来安装更新，同样在安装完成之后需要重启你的电脑。 Linux Kernel 4.14 LTS 的主要功能就是为 x86 硬件部署了更大的存储限制，虚拟地址空间提升至 128PiB，物理硬件空间提升至 4PiB。此外还引入了全新的 ORC unwinder 来改进内核追踪和内核尺寸。 Linux Kernel 4.14 LTS 同时为 Btrfs 和 SquashFS 文件系统引入了 zstd 压缩，能够从用户存储到 sockets 实现 zero-copy 数据，改进 SMP 的 cpufreq 协调，同步 non-blocking buffered 读取，以及对 PCID 指令更快的 TBL 刷新。...阅读全文
/gnu/bison/bison-2.5.tar.bz2 解压缩：tar xf bison-2.5.tar.bz2 进入目录：cd bison-2.5 检查并编译源码：./configure && make && make install 其中编译问题用以下方式解决 解决编译问题：https://www.cnblogs.com/hjj801006/p/3988220.html 拷贝启动文件： cd /root/inception/debug/sql cp Inception gen_lex_hash /usr/local/bin/ 制作配置文件 cat /etc/inception/inc.cnf [inception] general_log=1 general_log_file=/var...阅读全文
支持，- AMD S2idle支持改善- Intel P-State Schedutil 性能优化.- 其中一项移除的功能是从 k10temp 驱动中移除 AMD Zen 电压/电流报告,因为缺乏公共文档，无法正确报告所有硬件的数值。- 为 AMD EPYC with PostgreSQL提供性能优化- Intel Platform Monitoring Technology 支持硬件遥测功能，适用于组织和数据中心。- OpenRISC 和 RISC-V 改进- AMD Zen/Zen2/Zen3 RAPL PowerCap support.- INT340x中的英特尔工作负载提示和其他电源管理工作.- 新增大量 ARM 设备支持- The AMD Sensor Fusion Hub 驱动完...阅读全文
header 主要有 Call-Definition 以及 Custom-Metadata。Call-Definition 里面包括 Method（其实就是用的 HTTP/2 的 POST），Content-Type 等。而 Custom-Metadata 则是应用层自定义的任意 key-value，key 不建议使用 grpc- 开头，因为这是为 gRPC 后续自己保留的。 Length-Prefixed-Message 主要在 DATA frame 里面派发，它有一个 Compressed flag 用来表示该 message 是否压缩，如果为 1，表示该 message 采用了压缩，而压缩算啊定义在 header 里面的 Message-Encoding 里面。然后后面跟着四字节的...阅读全文
Debian 是个组合单词，它是由 Debian 项目创始人 Ian Murdock 和他的妻子 Debra 的名字缩写。是Linux的一个版本。Debian 是一套为了您的计算机所设计的自由操作系统。Debian 使用 Linux 核心, 但大部份的基本工具则来自 GNU 计划，本站有一篇关于Debian 项目的详细介绍，推荐看看。 Debian 怎么读才是标准的，正确的发音呢？ 其实这个问题不难，我们可以通过一些视频网站，对项目创始人、或者知名开源人士的访谈来判断如何正确年出 Debian。Youtube上也有专门的视频介绍Debian的发音，参考这里。通过对比，我们可以发现百度翻译上的发音，就是很标准的 Debian 发音。多听几遍，我们就知道如何正确念出 Debian 了。常听到的...阅读全文
2019年的CES展会上，NVIDIA推出了RTX 20 Max-Q系列移动版显卡，笔记本上也用上了光追。今年的CES展会上，NVIDIA异常低调，没有推出什么新显卡，不过RTX 20 Super系列的移动版之前已经曝光，旗舰RTX 2080 Super移动版现在进一步在GK4数据库中确认了，搭配还是未发布的酷睿i9-10980HK处理器。 根据之前曝光的信息，RTX 2080 Super移动版代号为N18E-G3R，Max-Q设计中TGP典型功耗为80W，标准TGP功耗则是150W+——别担心，去年的RTX 2080移动版显卡也是80-150W的功耗范围。 现在的RTX 2080 Super移动版显卡已经在GK4数据库中被发现，显示拥有48组计算单元，也就是3072个CUDA核心，跟桌面...阅读全文
的结果觉得有问题，可能是由于程序bug导致的计算错误，当程序bug修复后，这时可能需要对之前已消费的消息重新消费，可以指定从多久之前的消息回溯消费，这种可以用consumer的offsetsForTimes、seek等方法指定从某个offset偏移的消息开始消费，参见上节课的内容。 2.1.7 分区数越多吞吐量越高吗 可以用kafka压测工具自己测试分区数不同，各种情况下的吞吐量 # 往test里发送一百万消息，每条设置1KB # throughput 用来进行限流控制，当设定的值小于 0 时不限流，当设定的值大于 0 时，当发送的吞吐量大于该值时就会被阻塞一段时间 throughput =-1：不限流 bin/kafka-producer-perf-test.sh --topic test...阅读全文
当上世纪九十年代互联网开始被广泛使用的时候，其大部分的通讯只使用几个协议：IPv4 协议路由这些数据包，TCP 协议转发这些包到连接上，SSL（及后来的 TLS）协议加密连接，DNS 协议命名那些所要连接的主机，而 HTTP 协议是最常用的应用程序协议。 多年以来，这些核心的互联网协议的变化几乎是微乎其微的；HTTP 增加了几个新的报文头和请求方式，TLS 缓慢地进行了一点小修改，TCP 调整了拥塞控制，而 DNS 引入了像 DNSSEC 这样的特性。这些协议看起来很长时间都一成不变（除了已经引起网络运营商们的大量关注的 IPv6）。 因此，希望了解（甚至有时控制）互联网的网络运营商、供应商和决策者对这些协议采用的做法是基于其原有工作方式 —— 无论是打算调试问题，提高服务质量，或施加政策...阅读全文
形执行的通用抽象，为了获得更好的性能，其图执行器支持并发执行操作和异步 API 调用。在性能测试中，与 TensorFlow 当前的运行时相比，TFRT 将经过训练的 ResNet-50 模型（一种流行的图像识别算法）在图形卡上的推理时间缩短了 28％。 TFRT 仍处在早期开发阶段，它已经与 TensorFlow 集成，最终将成为其默认运行时。关于 TFRT 的更多信息，可查看 TensorFlow 官方博客。...阅读全文
Java 进程后来变得比较空闲，被占用掉的内存也不会归还操作系统，从资源利用角度，这会带来某种意义上的浪费。阿里巴巴方面表示，ElasticHeap 主要用于改变这一情况。 据介绍，ElasticHeap 是一个基于 G1 GC 的动态堆弹性伸缩功能，可以有效节约 Java 进程实际物理内存占用。Dragonwell JDK 的 ElasticHeap 提供更敏捷有效的归还内存方式，主要有如下特点： 不依赖 Full GC 和其他 STW 暂停处理弹性堆伸缩，不增加额外 STW 开销，不影响 Java 线程服务；支持多种模式。 根据内存分配速度和 GC 压力自适应调整堆大小（自动归还内存）；根据 jcmd/MXBean 命令主动式限制堆大小 (可整堆限制或分代限制）； 下图是阿里巴巴电商应用在双...阅读全文
，消费消息也是一个道理，一次拉取一批次的消息进行消费。并且Producer、Broker、Consumer都使用了优化后的压缩算法，发送和消息消息使用压缩节省了网络传输的开销，Broker存储使用压缩则降低了磁盘存储的空间。参考资料：1.《深入理解Kafka：核心设计实践原理》2.状态机程序设计套路3.raft算法源码4.https://www.bbsmax.com/A/QW5Y3kaBzm/ 作者简介屈志平腾讯数据研发工程师腾讯数据研发工程师，目前负责QQ浏览器、搜狗小说、搜狗浏览器、bingo等多款产品的数据建设。有丰富的数据治理、数仓建设、数据平台平台相关的经验。参考阅读：BIGO RTC如何低成本实现高画质一文读懂 Web3：互联网发展的新时代还是骗局？解析分布式系统的缓存设计日志中台...阅读全文
美国海豹突击队有一套 “让自己快速平静下来” 的技术，名曰：作战呼吸法（Combat Tactical Breathing）。这个中文名是我比比的，这三个单词我都认识，放一起这么翻译没错吧。 下次你遇到测试不通过啊，莫名其妙的 Bug，PM 找你改需求，在线系统的莫名其妙故障啊，你感到沮丧或者焦虑的时候，试试这个方法。我保证，效果比你用头撞墙好。 操作步骤（跟着以上 GIF 呼吸）： 吸气 4 秒（蓝色圆圈扩大）保持你的肺部充满空气 4 秒（当蓝色圆圈最大并静止）呼气 4 秒（蓝色圆圈收缩）保持你的肺部空 4 秒（圆收缩并静止） 多次重复以上步骤，直到你恢复了平（lǐ）静（zhì）。然后，回去继续敲代码吧。...阅读全文
括存储大量数据，以及能够在合理的时间范围内处理数据，对于网络、存储技术和高效计算架构都是很大的压力。“Bell 说到。大型强子对撞机的运作规模和它产生的数据量带来了严峻的挑战，但 CERN 对这些问题并不陌生。CERN 成立于 1954 年，已经 60 余年了。“我们一直面临着难以解决的计算能力挑战，但我们一直在与开源社区合作解决这些问题。”Bell 说，“即使在 90 年代，当我们发明万维网时，我们也希望与人们共享，使其能够从 CERN 的研究中受益，开源是做这件事的再合适不过的工具了。”使用 OpenStack 和 CentOS时至今日，CERN 是 OpenStack 的深度用户，而 Bell 则是 OpenStack 基金会的董事会成员之一。不过 CERN 比 OpenStack 出...阅读全文
apt install git sudo adduser --disabled-login --gecos 'Gogs' git 切换至 git 账户并且创建名为 local 的目录。 su - git mkdir -p /home/git/local 切换到 local 目录，依照下方所展示的内容，使用 wget 命令下载 Go（最新版）。 cd ~/local wget https://dl.google.com/go/go1.9.2.linux-amd64.tar.gz 安装 Go 和 Git 解压并且删除 go 的压缩文件。 tar -xf go1.9.2.linux-amd64.tar.gz && rm -f go1.9.2.linux-amd64.tar.gz Go 二进制文件已经被...阅读全文
载好操作系统后，会得到一个zip的压缩文件。先解压，我们会用到里面的一个 .img 格式的操作系统镜像文件。文件准备好后，就可以进入下一步操作了。 在SD卡中灌入系统 这一步，我们需要下载一个软件，以便录入系统。虽然 RaspberryPi Foundation推荐使用 Etcher，但个人建议使用 Win32DiskImager，操作比较简单，录入成功率也比较高。 运行 Win32DiskImager 后，可以看到上图。打开首选的磁盘映像器，然后选择您的SD卡。通过在资源管理器中检查确认 SD卡驱动器 的名称，确保它是你的microSD卡，而不是其他驱动器。 注意：如果您不小心选择了错误的驱动器，则会丢失大量数据。 一旦你确认了SD卡的设备名，就可以选择第一步中，准备的 .img。在...阅读全文
QEMU 是一个纯软件实现的通用模拟器和虚拟机，它有三种模式，几乎可以模拟任何硬件设备：Full-system emulation 可在任何支持的硬件架构上运行任何操作系统，User-mode emulation 可用来运行另一个 Linux/BSD 程序，Virtualization 可以接近本机性能运行 KVM 和 Xen 虚拟机。 QEMU 5.0.0 已正式发布，官方的下载链接在此。本次更新的亮点主要包括： 支持通过 virtiofsd 将主机文件系统目录传递给访客支持对在 QEMU D-Bus 上运行的外部进程进行实时迁移支持针对 main/”built-in” guest RAM 使用 Memory Backend（虚拟内存的后端）block: 支持通过块设备作业压缩备份镜像...阅读全文
/ CentOS Stream也是官方对那些想要运行Linux的员工的立场，而他们之前的Ubuntu支持则逐渐消退，员工需要自力更生解决日常遇到的问题。不过，当然，Windows和macOS仍然是他们员工笔记本/台式机最常用的平台。除了标准的Fedora资源库和Facebook自己的内部资源库，FB在桌面上默认启用了RPM Fusion，也支持Flatpaks的使用。Facebook在桌面上对Fedora的使用也是工程师们一直在合作并推动最近Fedora本身变化的原因，比如默认Btrfs文件系统的使用，启用Btrfs Zstd透明文件系统压缩，默认启用systemd-OOMD，RPM copy-on-write等等。Facebook现在在桌面上追求CentOS Stream的原因包括：这是接下来稳定的滚动...阅读全文
项同时也是 2021 年竞选的议程）进军固件领域，接触 FSF、OSI 和 LF，看看在固件问题上有没有合作的范围。此外，如果可能的话，提供一些资金用于开发开源固件。Hideki Yamane (やまねひでき)日本人，在 2010 年成为了 Debian 开发人员，Debian 社区帐户名是“henrich”。Debian 贡献一些包维护一些发行说明（Debian6 到 11）、开发者参考资料等的翻译（英语 -> 日语） 。协调将 security.debian.org 镜像放到日本使用来自 DocBook 的 sphinx 将Debian 政策手册转换为 reStructuredText推送在 DebConf12 中的 .deb 文件中使用 XZ 压缩作为一名技术作家，从 2013 年到...阅读全文
状态图标等。 LMDE 3 中缺少的某些功能也从 Linux Mint 移植而来。LMDE 4 还将支持 Btrfs 子模块和主目录加密： 引导菜单中的 NVIDIA 驱动 一直以来在某些 NVIDIA 卡上存在 Nouveau（开源驱动程序）兼容性问题，在大多数情况下，人们不得不使用 nomodeset，但是当 Nouveau 根本无法识别芯片组时，完全没有图形显示。LMDE 4 中，在启动菜单中添加了一个新条目，该条目可即时安装 NVIDIA 驱动程序，实时会话和已安装的 OS 均可立即使用： Cinnamon 4.6 显示设置 下一版本的 Cinnamon 将允许选择显示器的频率，这是一个呼声很高的功能。 同时 Cinnamon 4.6 还将引入分数缩放功能。目前，缩放比为 100...阅读全文
，TokyoTyrant及Schooner Membrain等。RethinkDB为各种应用压力下提供高性能和高可靠性 支持，主要应用在下面一些场景： 用来处理一些其它方案无法解决的服务负载（如：要求快速的服务启动，在数据量超出内存大小后还要有高的性能，处理各种不稳定的读写压力，处理大量数据等） 提供性能与数据稳定性之间的精细调控 大大提高你的缓存层和key-value存储的性能，在你现有的硬件条件下，能支持更高的应用负载。 使用费用 RethinkDB目前提供两个版本的支持，一个免费版的，一个商用版的。商用版本的价格是每年每台机器$1500。免费版提供目前所有功能，提供后续所有安全相关的升级。但是新功能的升级只保证在付费版本中保持更新，另外商用版本还提供技术支持。...阅读全文
v1.20之后的版本加入了zstd压缩算法，需要用到cgo，在Windows平台编译时会提示类似如下错误： github.com/DataDog/zstd exec: "gcc":executable file not found in %PATH% 所以在Windows平台请使用v1.19版本的sarama。(如果不会版本控制请查看博客里面的go module章节) 3.1.3. 连接kafka发送消息 package main import ( "fmt" "github.com/Shopify/sarama" ) // 基于sarama第三方库开发的kafka client func main() { config := sarama.NewConfig...阅读全文
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
xxx ( 加上 -q 选项 )，则在传输文件时不显示进度条。-y 覆盖模式trz -y 或 tsz -y xxx ( 加上 -y 选项 )，如果存在相同文件名的文件就直接覆盖。-b 二进制模式trz -b 或 tsz -b xxx ( 加上 -b 选项 )，二进制传输模式，对于压缩包、图片、影音等较快。-e 转义控制字符二进制模式时，控制字符可能会导致失败，trz -eb 或 tsz -eb xxx ( 加上 -e 选项 ) 转义所有已知的控制字符。-d 传输文件夹trz -d 或 tsz -d xxx ( 加上 -d 选项 )，则可以上传或下载指定文件夹和文件。-B 缓冲区上限trz -B 20m 或 tsz -B 2M xxx 等，设置最大缓冲区上限 ( 默认 10M )。会自动根据网速选...阅读全文
探针则不会生效。译者：还有一点尽量为 Pod 内的所有容器都定义探针。使用自动缩放在适当的情况下，可以使用自动缩放来动态调整 pod 的数量（Pod 水平自动缩放器，HPA）、pod 消耗的资源量（Pod 垂直自动缩放器, VPA）或集群中的节点数量（集群自动缩放器，CA），具体取决于 对资源的需求。Pod 水平自动扩缩器还可以根据 CPU 需求扩展复制控制器、副本集或有状态集。使用缩放也带来了一些挑战，例如不在容器的本地文件系统中存储持久数据，因为这会阻止水平自动缩放。相反，可以使用 PersistentVolume。当集群上存在高度可变的工作负载并且可能根据需求在不同时间需要不同数量的资源时，集群自动缩放器非常有用。 自动删除未使用的节点也是省钱的好方法！译者：更多自动缩放的内容，可以浏...阅读全文
以为文件，目录，URL，若为可解压文件，在复制后会解压。语法： ADD
O'Reilly 在出版了《Google运维解密（Site Reliability Engineering）》和《网站可靠性工作手册（The Site Reliability Workbook）》之后，出版了 Google 工程师的另一本有关网站可靠性的书《Building Secure and Reliable Systems》，这次强调的是安全。 针对设计、实现和维护系统的开发群体，Google 的工程师分享了设计从基础上安全的，可伸缩的可靠系统的方法。 前两本书都提供了 HTML 免费版本，而新书没有提供 HTML 版本，但提供了 PDF、EPUB 和 MOBI 版本。...阅读全文
Debian 是 Debian 项目的创始人 Ian Murdock 和他的妻子 Debra 的名字缩写。值得一提的是，Debian 是第一个 Linux 发行版，它首次发布于 1993 年 9 月。 根据 Debian 的官方网站建议，它应该这样读：Deb'-ee-en ，“得比恩”，重音在第一音节。“得变” 有点接近，因为是重音，deb 应该发成类似“跌”的发音。 也就是“跌扁”，“蝶变”。 这里提供两种很标准的 Debian 标准发音，供参考。 第一个发音是带西班牙口音的 Debian 发音方式（MP3文件下载）： 这一个是较美式的 Debian 读法（MP3文件下载）：...阅读全文
