Debian 爱好者社区 为您找到相关结果 922

基于thanos搭建分布式prometheus

sidecar和prometheus则走原生HTTP接口拿数据。 为了高可,我们可以部署多个prometheus同时抓取。 为了打散采集/压力,我们可以部署多个prometheus各自抓取部分数据。 无论出于上述哪种目标或者混合目标,最终依靠Querier的正确配置都可以提供统一的Promql查询入口给Grafana,这一点是毋庸置疑的。 这里看到了图中有几个陌生的组件: Store Bucket Compactor Prometheus单机空间有限,SideCar和Prometheus在同POD内共享数据volume,然后sidecar可以自动将prometheus磁盘数据上传到Bucket里归档;后续Querier可以通过Store组件从Bucket拉取到历史数据,这样就实现了历史数据...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

希捷开测16TB Exos硬盘 采用热辅助磁记录技术

随着热辅助磁记录(HAMR)技术的成熟,希捷也终于拿出了 16TB 的 3.5 英寸 Exos HAMR 硬盘驱动器。目前该产品已在全面测试阶段,且较西部数据(WD)的微波辅助磁记录(MAMR)技术有更大的优势。HAMR 可借助激光对下方盘片进行加热,使磁头更易于记录、从而实现更高的密度。 希捷表示,HAMR 磁头的可靠性,已经超越了“行业标准”。 目前希捷正在对 16-TB HAMR 驱动器进行一系列的基准和集成测试,例如检查它们是否能够对控制器的命令做出了适当的响应。该制造商指出,客无需做出任何特殊的改动,即可直接像传统 3.5" 硬盘驱动器那样使 HAMR 驱动器。 如果一切顺利,希捷有望在 2020 年提供容量高达 20 TB 的 HAMR 硬盘驱动器产品。...阅读全文

Stackstorm 入门介绍

。 工作流就像“原子”动作一样,可在Action库中使,并且可以手动调或由规则触发。 包(Packs)是内容部署的单位。 它们通过对集成(触发器和动作)和自动化(规则和工作流)进行分组,简化了StackStorm可插拔内容的管理和共享。 StackStorm Exchange上有越来越多的包可可以创建自己的包,在Github上共享它们,或者提交给StackStorm Exchange. 审计跟踪(Audit Trail)记录并手动或自动操作执行的审计跟踪,并触发上下文和执行结果的全部细节。 它还被记录在审计日志中,于集成外部日志记录和分析工具:LogStash,Splunk,statsd,syslog StackStorm 通过包含 sensors 和 actions 的...阅读全文

Cincoze 推出 DX

Cincoze 刚刚推出了面向嵌入式应的全新紧凑型迷你工作站,除了采至强 E 系列处理器,还支持自定义 I/O 扩展。从外形来看,Diamond Extreme 系列的 DX-1100 周身被硕大的散热片包围,但较小的体型,很适合空间受限的环境。处理器方面,客可选英特尔八代酷睿、或至强 E-2100 系列 CPU 。 值得一提的是,DX-1100 工作站为办公室和工业环境提供了极其强大的连接选项,可定制 I/O 的功能相当受客欢迎。 Cincoze DX-1100 采了全金属机身,能够为容量 3.2L 的内部空间带来不错的被动式散热性能(TDP 80W 封顶)。 此外,主板上提供了 2 根 DDR4 SO-DIMM 内插槽、2 个前端可访问的 2.5 英寸热插拔 SATA 托架...阅读全文

博文 2019-03-09 20:44:50 1100 超紧凑型工作站 至强E系芯片

Linux内存buffer和cache的区别

"read" from the disk and stored for later use. 2.1 Cache Cache:高速缓,是位于CPU与主内间的一种容量较小但速度很高的器。 由于CPU的速度远高于主内,CPU直接从内取数据要等待一定时间周期,Cache中保着CPU刚过或循环使的一部分数据,当CPU再次使该部分数据时可从Cache中直接调,这样就减少了CPU的等待时间,提高了系统的效率。 Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache),L1 Cache集成在CPU内部,L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部,常见的容量有256KB或512KB L2 Cache。 2.2 Buffer Buffer:缓...阅读全文

Everspin宣布千兆级芯片ST

据外媒报道,磁性随机取内(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片,另外他们已经将这款高寿命、非易失性的内芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力,相较于普通的NAND闪技术,它可以减少写入放大倍数并拥有更好的耐性。 这款新芯片采的则是一个兼容DDR4的接口。这家公司表示,供应商可以利持久的记忆技术设计企业级SSD或对现有的产品展开进一步的改善。 据了解,ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出,从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键,另外...阅读全文

N 次跳票后,Fedora 27 正式版终于发布了

更多结果。 GNOME 3.26 提供了对 color emoji 的支持,Boxes 中的文件夹共享以及 Builder IDE 工具中的大量改进。详情 新版本还包含了 LibreOffice 5.4。 LibreOffice 的最新版本在 Writer 和 Calc 以及 EMF + 矢量图像导入方面提供了新的功能和改进。现在也可以使 OpenPGP 密钥来签署 ODF 文档。 Fedora Atomic Host Fedora Atomic 27 现在默认为更简单的容器设置。 此外,它还提供 Kubernetes、flannel 等。 这些更改为选择不同版本的 Kubernetes 或根本不使 Kubernetes 带来了灵活性。 此版本随附最新的 rpm-ostree...阅读全文

博文 2017-11-16 08:35:44 debian.cn

Intel 傲腾 DDR4 内存价格曝光,单条 128GB 仅约 5600 元

本周的 Intel 数据创新大会上,傲腾持久内正式发布,采 DDR4 接口和协议,既可以当纯粹的 DDR4 内,又可以做型缓盘。 Intel 借助 3D Xpoint 技术实现了 DRAM 和 NAND Flash 共享同一种芯片,即傲腾(Optane)。按照 Intel 公布的信息,傲腾内条容量目前提供 128GB、256GB、512GB。 虽然 Intel 没有公布价格,但美国采购商已经偷跑, 其中 128GB 在 842~893 美元(约最低 5656 元),256GB 在 2668~2850 美元(约最低 1.79 万元),512GB 还不详(预计 6000~7000 美元)。 显然,比起同容量的 SSD 着实贵了不少,但比起企业级内条(128GB 要 4500...阅读全文

博文 2019-04-07 20:25:18 debian.cn

成功运作一个开源项目的15个要点

所需工具的期望,与项目团队联系的渠道以及针对潜在贡献者的其他重要信息。抓取所有这些信息,使其尽可能容易被发现。在项目源代码库的根目录中包含一个贡献指南是一个很好的做法(通过DVCS,潜在的贡献者将找到库副本的副本;库中的贡献指南可以让潜在的贡献者轻松找对致力于项目的途径)。 7、确保项目代码始终可构建 项目代码包含构建脚本和说明。使其尽可能容易地构建成功和测试项目代码。 8、与社区联系 社区是使开源项目产品的一群人。社区很少直接向项目代码贡献任何东西,但却往往会提出很多问题。确保这些问题得到回答。健康的社区可以为采者社区提供信息。 9、与采者社区联系 开源项目取得成功的一个明显迹象是,其他组织开始在他们自己的产品中使或构建扩展你的开源项目。此社区更有意愿反...阅读全文

博文 2017-11-08 09:58:28 debian.cn

历数2017年五大Linux痛点

Linux操作系统为许许多多安装和使,难免会遇到一些问题。正如2016年我们总结过5大Linux故障排除技巧一样,在即将过去的2017年里,我们依然搜集了在使Linux系统时发现的问题,在此总结综述为"2017年五大Linux痛点",直指使的关键点,希望能对您有所帮助。 1.文档 文档的问题是你今年最大的痛点吗?开源的方式产生了大量优秀的代码,文档的质量也因此上升了一个台阶。随着越来越多的非技术Linux和开源软件,文件的质量和数量将变得至关重要。如果您想为开源项目做贡献,但又不觉得自己有足够的技术来提供代码,那么改进文档是一个很好的参与方式。许多项目甚至将文档保在它们的库中。因此你可以通过自己的贡献去改进工作的效率。 2.软件/版本不兼容 软件版本不兼容的...阅读全文

博文 2017-11-25 12:27:56 debian.cn

25万次P/E循环 超级长寿的SLC SSD诞生

SLC、MLC、TLC、QLC……NAND闪类型的进化一直是个争议话题,可靠性和寿命越来越差,或者说P/E编程擦写循环次数越来越低,东芝甚至已经开始探讨PLC,不知道会渣成什么样。对于最初的SLC(每单元只保1比特数据),很多人都十分怀念,但如今已经几乎绝迹,只在极少数特殊场合才能看到。 东芝正在打造可视为SLC加强版的XL-Flash,而高端固态厂商Greenliant最新打造的NANDrive EX系列SSD产品,更是应了超长寿的SLC闪。 Greenliant NANDrive EX并非消费级产品,而是面向高性能计算、工业、交通运输、视频和网络等特殊行业应,特别是那些需要超长寿命、高可靠性的应,能长久保持数据完整。 它采了Greenliant自家专门设计的...阅读全文

博文 2019-08-07 23:13:00 debian.cn

Linux Kernel 5.10改进EXT4文件系统:随机覆盖性能提升10倍

在 Linux Kernel 5.10 代码中已经增加了对 EXT4 文件系统的更新,其中包括在 DAX/DIO 模式下大幅改进文件覆盖的效率。尤其是在运行英特尔 Optane DCPMM 的情况下,并行写入尤其是随机覆盖性能可以提升 10 倍以上,常规操作也能提升 2 倍以上。但是您必须使 EXT4 iommap 代码(例如在DAX / DIO模式下),并且此更改不会影响 EXT4 的常规操作。 另一项针对 EXT4 的重大改变是由谷歌 Harshad Shirwadkar 提交的 “fast commits”。fast commits 模式和在有序模式(挂载选项 data=ordered)运行的 EXT4 有关,在保持最小增量的情况下与 JBD2 日志共享的快速提交空间中重新...阅读全文

博文 2020-10-25 10:58:54 debian.cn

Proxmox VE 6.0 发布,基于 Debian 10.0 Buster

的基础设施,6.0 集成了最新的 ceph 14.2 版本的特性,并为基于 web 的界面带来了许多新的管理功能安装程序现在通过 UEFI 支持 ZFS 根目录,例如可以在 NVMe SSD 上启动 ZFS 镜像Promxox VE 6.0 中包含了新的 QEMU 功能Proxmox VE 6.0 提供了对自定义 Cloudinit 配置的支持,并允许将其为代码片段Corosync 现在使单播作为默认传输方法ZFS 的新特性包括增强安全性和数据保护,这是因为通过将加密直接集成到“zfs”实程序中,增加了对本机加密和舒适的密钥处理的支持 其他更改: 自动清理旧内核映像:旧内核映像不再被标记为‘NeverAutoRemove’,这有助于防止在小分区上安装/引导时出现问题安装程序中...阅读全文

博文 2019-07-18 13:58:35 debian.cn

Redis 命令、特性介绍与性能调优

本文从 Redis 的基本特性入手,通过讲述Redis的数据结构和主要命令,对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力,并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使Redis的普通开发人员,以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常命令 数据持久化 内管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客端的选择 概述 Redis是一个开源的,基于内的结构化数据媒介,可以作为数据库、缓服务或消息服务使。 Redis支持多种数据结构,包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文

博文 2018-10-27 10:37:55 debian.cn

RabbitMQ 高可用实现镜像队列

如果 RabbitMQ 集群只有一个 broker 节点,那么该节点的失效将导致整个服务临时性的不可,并且可能会导致 message 的丢失(尤其是在非持久化 message 于非持久化 queue 中的时候)。可以将所有 message 都设置为持久化,并且使持久化的 queue,但是这样仍然无法避免由于缓导致的问题:因为 message 在发送之后和被写入磁盘并执行 fsync 之间在一个虽然短暂但是会产生问题的时间窗。通过 publisher 的 confirm 机制能够确保客端知道哪些 message 已经入磁盘,尽管如此,一般不希望遇到因单点故障导致服务不可。 如果 RabbitMQ 集群是由多个 broker 节点构成的,那么从服务的整体可性上来讲,该集群对...阅读全文

博文 2018-12-30 19:21:59 debian.cn

DDR5内存最大亮点是啥

美光于前日宣布已经开始向业界中的核心客出样DDR5内(RDIMM)了,目前他们在DDR5内上面使的是自家最新的1z nm工艺。 JEDEC于2016年就开始制定DDR5 SDRAM规范了,不过到目前为止,DDR5标准仍然处于完善期,JEDEC还没有公布它的最终版本,预计它将会在今年正式完成DDR5标准的制定。反而是LPDDR5快了一步,在去年2月份标准就已经正式公布,并且有厂商已经推出了实际产品,并且在今年已经有移动处理器支持它了。 美光的DDR5技术文档也得以让我们一窥DDR5内的特性。首先,在同样的等效频率下,DDR5内能够提供更高的有效带宽,比如同样处于3200MT/s下,DDR5-3200的有效带宽比DDR4-3200的要高出36%;其次是DDR5(在JEDEC标准范围...阅读全文

三星谈论下一代DRAM解决方案:GDDR7、DDR5、LPDDR5X和V-NAND

访问购买页面: SAMSUNG - 三星旗舰店 今年的活动有800多名客和合作伙伴参加,三星的内和系统LSI业务领导人--包括内业务总裁兼负责人Jung-bae Lee、系统LSI业务总裁兼负责人Yong-In Park和执行副总裁兼设备解决方案(DS)美洲办事处负责人Jaeheon Jeong,一同就公司的最新进展和未来愿景发表了演讲。系统LSI业务亮点在今年技术日的上午会议上,系统LSI业务强调了其目标,即通过最大限度地发挥其独特和广泛的产品系列之间的协同作,成为一个"整体解决方案无工厂"。作为三星电子的无晶圆厂IC设计公司,系统LSI业务目前提供约900种产品,其中包括SoC(片上系统)、图像传感器、调制解调器、显示驱动IC(DDI)、电源管理IC(PMIC)和安全解决方案...阅读全文

Harbor 1.9 发布:新增多项企业级功能

的数据并对其所含信息采取相应的操作。例如,您可以将 Harbor 配置为在成功推送镜像后向 Webhook 侦听器发送一个 POST 请求,从而触发 Kubernetes 应程序的部署,以执行您的测试套件,或者仅仅更新您的 CMDB。 配额(Project Quotas) 配额有助于项目管理员对资源的使加以控制。具体而言,您可以限制项目所含 tag 的数目,以及项目可占容量。您可以设置适于所有项目的全局默认配额,也可以为个别项目设置配额以覆盖系统设置。镜像容量会根据其实际大小进行计算,并会在同时推送多个镜像时考虑所有相关镜像之间的层共享情况。配额可以与其他机制无缝协调工作,例如重新 tag、在线垃圾数据回收和保留策略,从而可始终合理管理各个工件,并且不会浪费空间。 Tag 保留...阅读全文

博文 2019-10-09 12:12:04 debian.cn

容器镜像仓库 Harbor 发布 2.0 版

Harbor 2.0 现已发布,此版本使 Harbor 成为第一个符合OCI(Open Container Initiative,开放容器倡议)标准的开源注册表,能够大量云原生工件,例如 container images、Helm 图表、OPAs、Singularity 等等。 Harbor 团队在博客中表示,“尽管 Harbor 现在符合OCI,但现有不必担心;Harbor 的所有熟悉的操作和主要优点都可以很好地转化为 OCI。您可以像处理图像一样 push、pull、delete、retag、copy、scan、以及 sign indexes。漏洞扫描和项目策略(于加强安全性和合规性的关键要素)已经过改进,可以与 OCI 工件一起使。我们还提供了一项新的关键功能:现在,您可...阅读全文

博文 2020-05-14 12:58:04 debian.cn

隐私声明

带类型; 您的IP (Internet Protocol)地址,该地址有时可以显示您所在地理位置; 您在本网站内浏览过的页面、广告和链接; 您访问本网站时发出的访问请求及其日期、时间和引荐网址(如有); 通过Cookie标注您的浏览器的唯一性和在本网站的账信息(包括您访问本网站的各项活动,浏览习惯等);您可以通过修改浏览器设置的方式拒绝cookie; 我们可能会使浏览器网络(包括 HTML 5)和应程序数据缓等机制,在您的设备上收集和您所浏览过的网页信息; 如果您需要查询、更正您的个人信息或注销账号,请通过 support@debian.cn 与我们联系并提供您的账号和其他验证信息,我们在核实后会回复您的请求。 2. 信息的使 我们仅在必要的情况下...阅读全文

UCloud 叶理灯 谈:Docker、K8S 和 Serverless

要做了哪些定制,有什么特色呢? 叶理灯:如果说定制 K8S 的话,其实是违背了 K8S 的初衷。我们并没有定制 K8S,我们是基于公有云给提供了原生的 K8S 产品。在公有云上提供原生的 K8S,其实要做很多的工作,例如与公有云的计算、网络和的整合,给提供一个开箱即的原生K8S集群等等。 我为什么说不应该定制呢?因为大家知道 PaaS 发展到今天,一直在的一个问题就是供应商绑定的问题。而 K8S 之所以那么有生命力,之所以迅速流行,是因为它提供了一个开源的标准,让使 K8S PaaS 平台,可以避免厂商绑定。也就是说你的服务在某个服务商的 K8S 上运行,可以无缝的迁移到另外一个服务商。 作为云厂商其实最重要的工作是,基于我们自身云平台的体系,提供原生的 K8S 给...阅读全文

博文 2019-06-14 08:28:49 debian.cn

新改进让Linux 5.10能更快地休眠以及恢复工作

如果你经常让你的系统经历休眠周期,那么从即将开始的 Linux 5.10 周期开始,性能应该会好很多。在即将到来的Linux 5.10合并窗口中,有一个变化允许对休眠/恢复的I/O请求进行批处理,以加快休眠和恢复进程。 到目前为止,Linux 内核依靠为每一页数据提交单独的 I/O 请求,但现在 Linux 5.10+ 的时候,它设置为使 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题:合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使的32GB内中,16GB内的一个休眠和恢复周期在改变前需要21分钟左右,在IOPS有限的系统上,改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作,这项改变是在系统...阅读全文

博文 2020-10-04 20:25:21 debian.cn

如何使用 journalctl 清理 journal 日志

位置。 "none" 表示不保任何日志(直接丢弃所有收集到的日志), 但日志转发(见下文)不受影响。 默认值是 "auto" Compress= 默认值"yes"表示: 压缩大于特定阈值的对象。 Seal= 默认值"yes"表示:如果在一个"sealing key"(由 journalctl(1) 的 --setup-keys 命令创建), 那么就为所有持久保的日志文件启 FSS(Seekable Sequential Key Generators)保护, 以避免日志文件被恶意或无意的修改。 SplitMode= 设置是否按照每个分割日志文件,以实现对日志的访问控制(日志守护进程会确保每个都能读取自己的日志文件)。 可以使的分割策略如下: "uid" 表示每个都有自...阅读全文

博文 2021-02-05 15:43:28 博客园

如何更改 Linux 的 I/O 调度器

Linux 的 I/O 调度器是一个以块式 I/O 访问卷的进程,有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列:确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备,以此来减少磁盘寻道时间,从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法: noop - 通常于内的设备。 cfq - 完全公平调度器。进程平均使IO带宽。 Deadline - 针对延迟的调度器,每一个 I/O,都有一个最晚执行时间。 Anticipatory - 启发式调度,类似 Deadline 算法,但是引入预测机制提高性能。 查看设备当前的 I/O 调度器: # cat /sys/block//queue/scheduler 假设磁...阅读全文

博文 2021-01-28 17:50:25 debian.cn

Raspberry Pi 支持 Vulkan 最新进展

程序可以处理这些更复杂的工作负载之前,还有很多工作要做。甚至由于驱动程序错误或未实现的 Vulkan 功能,连 Sascha 的一些演示都无法运行。 为此,接下来几个月的工作将集中在支持基本的 Vulkan 1.0 功能集,至少涉及支持计算着色器、输入附件、纹理像素缓冲区、镜像、pipeline 缓和多重采样。在 Vulkan 1.0 中,还需要支持其它一些功能,例如健壮的缓冲区访问等。 一旦完成了功能开发,则可能会将重心转移到 CTS 一致性上,这将全部于 bug 修复,并处理特殊情况。最后也会有许多性能调整和优化工作。 Raspberry Pi 基金会还介绍,目前已经将驱动程序的开发转移到一个开放的库中,开发者可以在其中找到有关如何构建和安装驱动的说明。...阅读全文

博文 2020-06-13 18:15:31 debian.cn

Kong 发布 API 协作设计工具 Insomnia Designer

件进行版本控制。 除此之外,Insomnia Designer 还提供了与 Kong 平台的强大集成。通过使 Insomnia 插件,可以在 Insomnia Designer UI 中自动将 Kong 网关策略直接嵌入到他们的 API 规范文件中。意思就是,开发者可以将 Kong 网关策略直接到规范本身。通过选择 Kong Plugins 的功能(如身份验证或速率限制),可以将管理其 API 行为的策略直接写入代码中。 更多介绍查看 https://insomnia.rest/blog/introducing-designer下载地址 https://insomnia.rest/download/...阅读全文

博文 2020-05-03 15:28:11 debian.cn

Ceph 基金会正式成立 接受 Linux 基金会的管理

(SARAO),加州大学圣克鲁兹分校开放源码软件研究中心(CROSS)等。 Linux基金会执行董事Jim Zemlin说:"Ceph在帮助企业有效管理高增长和扩展数据需求方面有非常丰富的经验,在Linux基金会下,Ceph基金会将能够利更多资源来帮助完善Ceph生态系统建设。" Ceph联合创始人&Red Hat Ceph首席架构师 Sage Weil说:"Ceph基金会的成立证明了一个多元化的开源社区的力量所在,各方共同联合起来致力于解决数据和数据服务的爆炸性增长。" Ceph被世界各地的云提供商和企业使,包括金融机构(Bloomberg,Fidelity),云服务提供商(Rackspace,Linode),学术和政府机构(Massachusetts Open Cloud),电信基础设...阅读全文

LXD 3.8 发布,下一代容器管理器

有手动创建或导入的镜像来改变这一点,仅作为缓条目的镜像不会被复制。 CLI 覆盖默认项目 由于不得不经常使 lxc 项目切换来在项目之间切换客端,因此与多个项目进行交互可能会很繁琐。当想要在特定项目中执行的操作是一个简单的操作(如启动容器)时尤其如此。 LXD 3.8 现在在整个命令行客端都有一个 –project 选项,它允许覆盖特定操作的项目。 ZFS 压缩支持 迁移协议提供了 ZFS 压缩支持。 此外还有大量 bug 修复与其它功能,详情查看 发布公告 。 下载地址:https://linuxcontainers.org/lxd/downloads/ Debian社区网站内容即将同步至腾讯云+社区,邀请大家点击链接,一同入驻。...阅读全文

博文 2018-12-14 10:29:14 debian.cn

最全的 DevOps 工具集合

Groovy 的领域特定语言,替代 Apache Maven 使的 XML 格式来声明项目配置。 MSBuild Microsoft Build Engine(通常称为 MSBuild)是来托管代码及原生 C++ 代码的免费开源构建工具集,它之前是.NET Framework 的一部分。Visual Studio 依赖 MSBuild(反之则不然)。 Rake Rake 是一个软件任务管理和自动化构建工具。它允许指定任务并描述依赖关系。你也可以对命名空间中的组任务执行这些操作。 JFrog Artifactory JFrog Artifactory 这款工具可构建过程的二进制输出,以备分发和部署之。Artifactory 支持许多软件包格式,如 Maven、Debian、npm...阅读全文

博文 2021-05-26 14:35:21 博客园

高性能日志采集工具 logpipe 简单介绍

日志文件增长,某些应会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名,架构上要支持多输入多输出流式日志采集传输,为了达成以上需求,我研究了所需技术,评估实现难度并不高,就自研了 logpipe。 logpipe 是一个分布式、高可于采集、传输、对接落地的日志工具,采了插件风格的框架结构设计,支持多输入多输出按需配置组件于流式日志收集架构,无第三方依赖。 logpipe 的一种法是能异步实时监控集群里的所有日志目录,一旦有文件新增或追加写,立即采集并传输到大上以相同日志文件名合并落地,或者写入 HDFS。异步意味着不影响应输出日志的性能,实时意味着一有日志立即采集,很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期...阅读全文

总结系统设计中的33个黄金法则

数据库。 6. 拥有复杂的数据(视频、图像、文件)——选择 Blob/对象。 7. 复杂的计算——使消息队列和缓。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可性、性能和吞吐量 — 使负载均衡器。 11. 全球数据交付——考虑使 CDN。 12. 图形数据(具有节点、边和关系的数据)——利图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使速率限制器。 17. 微服务架构——使 API 网...阅读全文

Fedora 33 确认引入 Stratis 2.1

虽然 Fedora 33 桌面版已确定默认使 Btrfs 文件系统,但对于使服务器版本或者不希望使默认设置的,官方提供了 Stratis 2.1 作为另一种选择。Stratis 是一个卷管理文件系统 volume-managing filesystem(VMF),由 Fedora 团队负责开发,在 LVM、Device Mapper 和 XFS 的基础上提供类似 ZFS/Btrfs 的功能(子卷管理和文件系统)。 红帽承诺会采其作为 Linux 方案,甚至有可能在 Red Hat Enterprise Linux 9 中默认使。因此 Fedora 现在可以说是同时促进 Btrfs 和 Stratis 这两种技术的发展。 上个月有提案建议将 Stratis 的最新版本...阅读全文

博文 2021-01-28 17:52:11 debian.cn

Proxmox VE 6.1/6.2 U盘安装教程

Proxmox VE 是基于QEMU/KVM和LXC的开放源码服务器虚拟化管理解决方案。可以使集成的、易于使的Web接口或CLI管理虚拟机、容器、集群、和网络,PVE有方便易的WEB界面,可通过网页的方式来管理服务器上使 kvm 以及 lxc 技术运行的虚拟机。同时提供了一些先进功能的支持,如集群、HA等。PVE虽然是开源,却是由一个商业公司在运营、更新以及维护。 一、启动盘准备 1、下载U盘写盘软件 官方网站:https://rufus.ie/(目前比较好的写盘软件,WIN10也是着装) 2、下载PVE ISO文件 官方下载:https://www.proxmox.com/en/downloads(速度比较慢) 3、写入PVE,比较简单,基本跟win安装盘一样,选项基...阅读全文

博文 2021-02-15 08:36:49 星哥的博客

Kubernetes 1.7 版 6月底推出 有超过50项更新

按Kubernetes每季推出新版本的周期,暨今年3月底发布1.6版后,应该即将有一波大公布。果不其然,作为Kubernetes 1.7开发团队成员之一的Mirantis,在近日宣布,Kubernetes 1.7版会如期在6月底发布。 在1.6版中,Kubernetes不仅新增了角色权限控管,还将集群规模扩大至5,000个节点,但对Kubernetes社区而言,1.6版只不过是求稳定,并无太多新功能。Mirantis表示:1.7版本则是全力锁定推新功能,预计会有超过50个新功能,例如丛集联邦、安全性以及容器网络。 而根据Kubernetes现今对外的文件,还可发现许多有趣的新功能,像是支持容器基础组件Containerd、加强容器Runtime接口等。在容器功能方面,则预计开始支持本地...阅读全文

博文 2021-01-28 17:50:31 debian.cn

希捷HAMR硬盘即将商用:目标100TB

看着SSD气势汹汹,机械硬盘丝毫不敢懈怠,唯有不断推陈出新大容量产品,同时把容价比做到更低。据说淘宝上出现了一批全新/充新HGST 8T企业盘,由不景气的乐视云内部流出,居然只要千元出头。 就目前而言,西数、东芝均发布了14TB,前者使SMR(叠瓦式磁记录),后者使传统的PMR(垂直磁记录),9碟充氦。 而且,巨头均规划了16TB硬盘,预计明年推向市场。 近日,知名服务商Backblaze刊文报道,希捷CTO(首席技术官)Mark Re介绍称,HAMR(热辅助磁记录)技术硬盘已经越来越接近商了。 今年10月的容量密度还是2Tbpsi(每平方英寸容量),Mark Re此次透露,目前已经达到5Tbpsi,是当下希捷最大的12TB硬盘(PMR)1.3Tbpsi的3.8倍,而HAMR...阅读全文

Gitlab 从 12.1 版本开始不再支持 MySQL

Gitlab 官方 宣布 ,将从 12.1 版本开始不再支持 MySQL 数据库。早在 2017 年 7 月,Gitlab 就计划将弃对 MySQL 的支持。而目前这个决定将从 12.1 版本开始。 官方列出几个 MySQL 不能满足 Gitlab 需求的地方: 无法支持嵌套分组查询(详情)必须使黑科技来提升 MySQL 对列的限制,这将导致 MySQL 拒绝数据MySQL 无法添加 TEXT 类型字段的长度限制MySQL 不支持分区索引还有类似 Geo 为了解决上面这些问题,Gitlab 创建了许多专门针对 MySQL 的代码。 在某些情况下,这导致合并请求的复杂性要高一倍,因为它们必须支持第二个数据库后端。 创建和维护这些代码会消耗我们的循环时间和速度,并且会降低我们的迭代值...阅读全文

博文 2019-07-03 22:41:20 debian.cn

树莓派4发布:性能飙升 配件丰富 价格不变

,意味着树莓派 4 能够支持高动态范围(HDR)的 4K p60 HEVC 视频解码、并同时带动两台 4K 显示器。同时,这是消费者首次能够选择 1GB / 2GB / 4GB 运,且起售价维持 35 美元(240 RMB)不变。 本次升级后,你可以将树莓派 4 当做一台完整的台式电脑来使,因为官方提供了一整套的桌面配件。套件中包括了主板、机箱、USB 键鼠、电源、两根 HDMI 线、32GB Micro SD 卡、以及初学者指南,可帮助您充分发挥设备的潜力,价格为 105 英镑(919 RMB)。 显然,随着树莓派 4 带来的最新改进,树莓派基金会有望帮助人们解决更多的问题。下面是树莓派 4 的详细规格: 处理器:博通 BCM2711,四核 Cortex-A72、64 位 SoC、主...阅读全文

博文 2019-06-25 08:43:29 debian.cn

Facebook 开源的一组 Linux 内核组件与工具

题。 Cgroup2:https://facebookmicrosites.github.io/cgroup2/ Cgroup2 是下一代 Linux 内核机制,于分组和构造工作负载,以及控制分配给每个组的系统资源量。它具有内、I/O、中央处理单元等控制器,它还允许隔离工作负载,并为每个工作负载确定资源分配的优先级和配置。 PSI:https://facebookmicrosites.github.io/psi/ PSI(Pressure Stall Information,压力失速信息)首次提供了一种规范,通过内、CPU 和 I/O 这三种主要资源的新压力指标来量化资源短缺。这些压力指标与此次开源的其它内核和空间工具相结合,可以在智能开发和响应时检测资源短缺。PSI 统计数据为即...阅读全文

博文 2018-11-24 09:27:14 debian.cn

Debian GNU/Linux 9.3 Stretch 和8.10 Jessie正式发布

Debian项目今天宣布推出了Debian GNU/Linux 9.3 “Stretch”和Debian GNU/Linux 8.10 “Jessie”版本系列。 尽管Debian GNU/Linux 9.3是对操作系统最新稳定版本Stretch系列的第三次维护更新,Debian GNU/Linux 8.10代表了Jessie分支的第十个版本,两者都包含通过官方库发布的最新安全更新。 今天发布的消息称:“这一版本主要是对安全问题进行修复,并对严重问题进行了一些调整。安全建议已经单独发布。请注意,发行版并不构成Debian 9的新版本,只是更新了一些包含的软件包。” 新的ISO映像即将推出 Debian GNU/Linux 9.3 “Stretch”和Debian GNU/Linux...阅读全文

博文 2017-12-10 07:06:28 debian.cn

OpenSSL 1.1.1 LTS 版本发布,支持 TLS v1.3

free operation 支持各种新的加密算法,包括: SHA3 SHA512/224 and SHA512/256 EdDSA (including Ed25519 and Ed448) X448 (adding to the existing X25519 support in 1.1.0) Multi-prime RSA SM2 SM3 SM4 SipHash ARIA (including TLS support) 旁路攻击安全性改进 Maximum Fragment Length TLS 扩展支持 新增 STORE 模块,它实现了一个规格一致的基于 URI 的读取器,可包含密钥、证书、CRL 和许多其他对象。 更多细节可查阅发行说明: https...阅读全文

本田 40GB 数据险遭泄漏 因云端数据库未设密

% 的 Elasticsearch 启了验证插件,另外有 2% 则关闭了 Elasticsearch。2018 年 11 月份,美国还曾发生一起 ElasticSearch 服务器在没有密码的开放状态下泄露了将近 5700 万美国民众个人信息的事件。当时共泄漏超过 73GB 数据,并且几个数据库被缓在服务器内中,其中一个数据库包含的个人信息就达到了 56,934,021 份。2018 年 12 月份,巴西最大的订阅电视服务之一的 Sky Brasil 在没有密码的情况下将 ElasticSearch 服务器暴露在互联网上,其 3200 万客数据在网上暴露了很长时间,数据包括客姓名、电子邮件地址、密码、付费电视包数据、客端 IP 地址、个人地址、付款方式、设备型号等。 根据...阅读全文

玩转 AWS 的必备工具

AMI全过程一般时费力不易配备,并且容易错误。因此 大家必须一个专工具来自动化技术全部建立AMI的全过程,与此同时叙述建立AMI的编码能够而且根据再配备重复使,来很大地优化和管理方法AMI建立的全过程。 Packer就这样一个自动化技术建立AMI的专工具。如下图所显示,Packer根据JSON文件模板来叙述一个建立AMI的全过程,如何配置AMI都由编码叙述。客只需根据改动这一软件更新来随后实行一个简洁的指令来自动生成订制的AMI。那样订制AMI的全过程则能够直接进入版本号智能管理系统,便捷消费者查看和跟踪订制全过程的转变 。...阅读全文

玩转 AWS 的必备工具

AWS的建立镜像工具转化成一个订制的AMI。那样手动式建立的AMI全过程一般时费力不易配备,并且容易错误。因此 大家必须一个专工具来自动化技术全部建立AMI的全过程,与此同时叙述建立AMI的编码能够而且根据再配备重复使,来很大地优化和管理方法AMI建立的全过程。 Packer就这样一个自动化技术建立AMI的专工具。如下图所显示,Packer根据JSON文件模板来叙述一个建立AMI的全过程,如何配置AMI都由编码叙述。客只需根据改动这一软件更新来随后实行一个简洁的指令来自动生成订制的AMI。那样订制AMI的全过程则能够直接进入版本号智能管理系统,便捷消费者查看和跟踪订制全过程的转变 。...阅读全文

GitLab 12.5 稳定版发布:支持EKS集群、多云托管和环境面板等

以使开源的 Crossplane 项目以声明方式提供云服务,该项目扩展了 Kubernetes API 以提供托管服务,包括 PostgreSQL、MySQL、Redis 和对象。 Crossplane 现在可以作为 GitLab 托管应程序使,可以安装到由 GitLab 管理的 Kubernetes 集群中,可以在标准的 GitLab 管道中或通过 Auto DevOps 使 kubectl 声明性地设置和使 GCP、AWS 和 Azure 的托管服务。 通过环境面板一目了然地查看环境状态 面对在生产环境中应程序的频繁更改,在变更流程中各种开发、暂和生产环境时,对环境变化的跟踪是个问题。GitLab 为此新增了环境面板可显示该信息,从而提供对所有组和项目中环境状态的单点访...阅读全文

PostgreSQL 10 有哪些新特性

制 :这是 PostgreSQL 在物理复制之外提供的另一种可选方案,提供了更大的灵活性,而且配置简单。 改进并行查询 :在查询很多时应该会有 2 到 4 倍的速度提升。 更强大的密码哈希算法 :使了 SCRAM -SHA–256。 关于 PostgreSQL 10,还有更多的特性正在开发之中,就像 2ndQuadrant 创始人兼首席执行官 Simon Riggs 在最近的一次演讲中所 介绍 的那样。包括 PostgreSQL 10 官方路线图在内,正在进行中的特性开发工作还有诸如以下这些: 自治事务 多主集群,使 分片 提高扩展性和可性 查询 JIT 编译 可插拔的引擎(columnar、内等) 页级数据压缩等 改进临时表性能 不过,哪些特性将成为 PostgreSQL...阅读全文

博文 2021-01-28 17:50:28 debian.cn

MySQL 8 第一个正式版发布:更好的性能

("hot spot"热点竞争问题)工作负载。 2. NoSQL:MySQL 从 5.7 版本开始提供 NoSQL 功能,目前在 8.0 版本中这部分功能也得到了更大的改进。该项功能消除了对独立的 NoSQL 文档数据库的需求,而 MySQL 文档也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。 3. 窗口函数(Window Functions):从 MySQL 8.0 开始,新增了一个叫窗口函数的概念,它可以来实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似,但它不会将多行查询结果合并为一行,而是将结果放回多行当中。即窗口函数不需要 GROUP BY。 4. 隐藏索引:在 MySQL 8.0 中,索引可以被...阅读全文

博文 2018-04-20 10:40:18 debian.cn

Debian Stretch 9.8 发布,超过180个更新

Debian 项目今天宣布发布 Debian GNU/Linux 9 “Stretch” 操作系统系列的第8个版本。Debian 9.8 具有许多更新的软件包,可以解决各种错误,安全更新范围从QEMU 和 Ceph 到 Chromium 和 systemd,更新的 Python 3 依赖关系到多个软件包,解决可能的DoS漏洞以及一系列其他修复。 在Debian GNU/Linux 9.7 紧急版本发布仅一个月之后,Debian GNU/Linux 9.8 版本发布在这里作为最新的安装媒价包含众多内容,其中仅包含 APT 软件包管理器的重要安全更新。安全性和错误修复,为提供安装 Debian GNU/Linux 9 “Stretch” 操作系统系列的方法,而无需从官方软件库下载数百个...阅读全文

博文 2019-02-17 17:08:12 debian.cn

如何离线更新基于 Debian 的系统

系统,你可以通过下面的命令安装 Apt-Offline: sudo apt-get install apt-offline 如果你的在线系统运行的是非 Debian 类的发行版,使 git clone 获取 Apt-Offline 仓库: git clone https://github.com/rickysarraf/apt-offline.git 切换到克隆的目录下并在此处运行: cd apt-offline/ sudo ./apt-offline 在离线系统(没有联网的系统)上的步骤 到你的离线系统上创建一个你想签名文件的目录: mkdir ~/tmp cd ~/tmp/ 你可以自己选择使任何目录。接下来,运行下面的命令生成签名文件: sudo apt-offline set...阅读全文

博文 2018-02-07 10:06:03 debian.cn

kubectl 创建 Pod 背后到底发生了什么?—探寻 Kubectl 创建 Pod 的原理

者的工作方式类似,但有一点区别:与验证链和授权链不同,如果某个准入控制器检查不通过,则整个链会中断,整个请求将立即被拒绝并且返回一个错误给终端。 准入控制器设计的重点在于提高可扩展性,某个控制器都作为一个插件在 plugin/pkg/admission 目录中,并且与某一个接口相匹配,最后被编译到 kube-apiserver 二进制文件中。 大部分准入控制器都比较容易理解,接下来着重介绍 SecurityContextDeny、ResourceQuota 及 LimitRanger 这三个准入控制器。 SecurityContextDeny 该插件将禁止创建设置了 Security Context 的 Pod。ResourceQuota 不仅能限制某个 Namespace 中创建资...阅读全文

博文 2022-04-18 16:18:04 CSDN