全球的内存市场主要被三星、SK Hynix和美光三家公司垄断，他们三家加起来的份额高达95%，中国要想在内存市场突破封锁并不容易，尽管有紫光、长鑫、兆易创新等公司投身存储芯片市场，但在现有的DDR内存技术上，中国公司技术、产能还差得远呢。 此外，内存也不止传统的DDR技术，还有很多新兴领域正在发展，比如PCM相变存储，相比传统内存它的优势很多，比如速度快了1000倍，耐用性也是传统内存的1000倍，江苏淮安市时代芯存公司投资130亿元建设了国内最大的相变存储基地，上周已经开始正式运营，预计年产值45亿元。 来自中国江苏网的消息称，淮安市集成电路产业现场推进暨江苏时代芯存半导体有限公司相变存储器工厂竣工运营启动仪式在淮安高新技术产业开发区顺利举行，此举标志着130亿元投资的相变存储项目开始进...阅读全文
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。 GlusterFS 和 Ceph 是两个灵活的存储系统，在云环境中表现非常出色。 在尝试了解 GlusterFS 与 Ceph 之间的相似之处和不同之处之前，让我们来讨论在云环境中对灵活存储的一些要求。 纵向扩展和横向扩展。在云环境中，必须可以很容易地向服务器添加更多存储空间以及扩展可用存储池。Ceph 和 GlusterFS 都可以通过轻松将新存储设备集成到现有存储产品中来满足这一要求。 高可用性。GlusterFS 和 Ceph 的复制是同时将数据写入不同的存储节点。这样做的结果是，访问时间增加，数据可用性也提高。在...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
随着互联网的高速发展，云存储技术已经相当成熟了，网盘成了人们工作和学习中不可缺少的部分。尽管如此，离线存储技术也无法被取代，毕竟在没有网络的情况下，离线存储才是最佳的解决方案。 而目前使用的最多的且最方便的离线存储设备就是U盘，凭借小巧便携的体型设计赢得了广大用户的喜爱，但随着数据的日益膨胀，小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的存储需求。 而今天，金士顿在CES大会上展示了一款离线存储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造，存储颗粒为3D TLC NAND闪存，拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2，带宽高达10Gbps，实际连续读写...阅读全文
RethinkDB最早是作为一个对SSD进行专门优化的MySQL存储引擎出现的，其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版，包括： Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层存储：SSD，传统磁盘以及像AWS这样的云存储服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓存层。或者替代一些类似Memcached的存储，比如Membase，MemcacheDB...阅读全文
西部数据开发了有一段时间的Zonefs已经确定要在Linux 5.6内核中登场了，这并不是一个传统意义上面的通用文件系统（比如Ext4、NTFS），而是一个针对特定硬件设备的文件系统，它为分区式存储设备进行了高度的优化。 熟悉Linux的朋友应该知道，在Linux下面内核会将存储设备视为块设备，比如目前会将SATA存储设备视为/dev/sdX。传统文件系统是在这个块设备上面进行操作，而应用程序则是通过系统提供的接口对块设备上面的数据进行访问。 但SMR HDD（叠瓦式硬盘）有一个毛病，它只有在顺序写入时才能正常发挥性能，一旦要进行数据覆盖写入，就需要改写这块数据所在区块内的所有磁道，造成严重的性能下降。传统的文件系统不会因为SMR HDD的特性而特别对待它，而Zonefs就是西部数据对...阅读全文
为了保护数据不被泄漏，我们使用软件和硬件防火墙来限制外部未经授权的访问，但是数据泄露也可能发生在内部。 为了消除这种可能性，机构会限制和监测访问互联网，同时禁用 USB 存储设备。 在本教程中，我们将讨论三种不同的方法来禁用 Linux 机器上的 USB 存储设备。所有这三种方法都在 CentOS 6＆7 机器上通过测试。那么让我们一一讨论这三种方法。 方法 1：伪安装 在本方法中，我们往配置文件中添加一行 install usb-storage /bin/true， 这会让安装 usb-storage 模块的操作实际上变成运行 /bin/true， 这也是为什么这种方法叫做伪安装的原因。 具体来说就是，在文件夹 /etc/modprobe.d 中创建并打开一个名为...阅读全文
这些年，机械硬盘容量的提升速度十分缓慢，大有被SSD全面赶超的趋势，不过每个季度，希捷、西部数据都会更新路线图，展望机械硬盘在技术、容量上的发展趋势，尤其是希捷。近日，希捷更是公布了详细的未来技术路线图，计划在2026年左右达到50TB左右，2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直存储技术)，但即便经过各种优化加强，也已经逼近极限，新的存储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录)，终于已经开花落地，去年底交付了20TB HAMR硬盘，同时新的多传动器(Muti-Actuator)结构也已经基本成熟，二者结合可让机械硬盘的容量跨上新台阶，2026年达到50TB就靠它们了。类似未来的半导体工艺制程，要想实现更进一步的突破，全新的存储介质...阅读全文
1月31日上午消息，固态技术协会（JEDEC）发布了Universal Flash Storage (UFS&UFSHCI，通用闪存存储) v3.0标准（JESD220D、JESD223D），和UFS存储卡v1.1标准（JESD220-2A）。简单来说，UFS 3.0引入了HS-G4规范，单通道带宽提升到11.6Gbps，是HS-G3（UFS 2.1）性能的2倍。 由于UFS的最大优势就是双通道双向读写，所以接口带宽最高23.2Gbps，也就是2.9GB/s。 互联层设计方面，严格遵守 MIPI（移动产业处理器接口）的规范协议，其中物理层依据 MIPI M-PHY v4.1，传输层依据MIPI UniProSM v1.8。 其它方面，UFS 3.0支持的分区增多（UFS 2.1是8个），纠...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
Proxmox VE 6.2 现已发布，该版本基于新发布的 Debian 10.4，同时引入了 Linux 5.4 LTS 内核、QEMU 5.0、LXC 4.0 和其他更新的软件组件，包括 OpenZFS 0.8.3。Proxmox VE（Proxmox Virtual Environment）是一个非常棒的集成 OPENVZ 支持 KVM 应用的环境。 Proxmox VE 6.2 的一些亮点内容如下 基于 Web 的管理界面的高级选项： 除了已经存在的基于 HTTP 的验证模式之外，Proxmox VE 还通过基于 DNS 的质询机制为 Let’s Encrypt TLS 证书实现了域的内置验证。完全支持多达八个 corosync 网络链接。使用的链接越多，集群可用性就越高。在存储内...阅读全文
从这一过程当中汲取到经验，并在过去几次发布周期内对全部四种资源进行了针对性调整，最终使得DaemonSet与StatefulSet也加入到稳定版本队伍中来。此次发布的v1版本代表着其针对生产需求进行强化且准备就绪，拥有长期向下兼容性保证。 Windows支持（beta测试阶段） Kubernetes最初专门针对Linux系统开发而成，但随着我们的用户越来越多地意识到容器编排功能的优势，我们发现Kubernetes也确有必要运行Windows工作负载。12个月之前，我们开始认真探索Kubernetes支持Windows Server的相关工作。SIG-Windows[3]如今已经将这一功能提升至beta测试版本，意味着大家能够通过实际使用对其效果进行评估。 存储增强 自第一个版本开始...阅读全文
在这个互联网时代，游戏、电影、照片等数据越来越大，硬盘容量将会面临着前所未有的挑战。虽然传统的机械硬盘可以解决容量问题，但是速度太慢，体验糟糕，并不是最优的个人存储解决方案。我们渴求大容量的SSD，不过超过TB大容量SSD动不动就几千元的售价，对于支付能力有限用户实际上没有意义。SSD的成本主要来源于闪存，在TLC闪存能够实现TB容量可惜价格未能降下来。只有不断开发新类型的闪存，解决容量与价格的矛盾，才能让SSD真正在大数据时代发挥应有作用。 这时，QLC 闪存就应运而生， 目前，东芝和西数先后宣布成功开发基于四比特单元3D NAND闪存芯片，即QLC闪存，这也意味着QLC SSD将要来临。那么，它与TLC闪存又有什么区别，能否取代TLC成为SSD主流闪存之选？ 先来了解一下什么是TLC...阅读全文
件公司Tableau卖给了Salesforce公司。AWS业务有点像自助餐，给开发者和终端用户提供了几百种在线服务自由选择，另外每年还不断推陈出新。从财务角度看，这一业务还是个“黑箱”。亚马逊没有披露云计算业务的具体营收来源，也没有给出各个子版块的利润率情况。AWS诞生初期，就是作为一个基础计算服务的外包供应商，包括计算资源和数据存储等。可以判断，该业务大部分收入和利润仍然来自这些业务。科技业人士克里·奎因（Corey Quinn）曾经在私营的Duckbill集团担任首席云经济学家，帮助客户公司降低他们在亚马逊云计算的开支。奎因预测，AWS一半以上的收入来自于EC2计算服务。这一服务相当于让企业用户在亚马逊数据中心租赁到了实体服务器虚拟的“一部分”。奎因表示，计算服务再加上“弹性块存储...阅读全文
PIM存内计算是近年来的热门领域，与传统诺伊曼体系面临着越来越严重的存储贷款瓶颈不同，PIM直接在存储芯片上集成了计算功能，而不是CPU、内存数据分离，这样就能极大地提高带宽，在AI人工智能领域这个更重要。得益于这一突破，三星首发的HBM-PIM技术实现了2倍的性能，同时功耗还降低了70%，还能兼容目前的HBM接口，便于客户通过HBM-PIM来构建自己的AI加速器。三星计划今年上半年推出HBM-PIN芯片完成客户验证工作，何时量产、商用还没信息。...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
SolydXK 9 已正式发布，它基于最近发布的 Debian 9。 自上个 beta 版本发布以来，团队一直在测试、改进和开发。除了基于新的 Debian 9，SolydXK 已默认删除了 Backports 存储库（尽管可以重新启用），添加了一个工具来协助分区加密以及引入新的桌面主题。 更新内容： SolydX 和 SolydK 的新主题，可以选择一个亮色或暗色的主题 SolydXK 系统现在有一个 GUI，你可以在其中加密分区（和你的 USB闪存驱动器），本地化你的系统，选择最快的存储库，管理软件包和清理系统。此应用程序的加密部分现可正常工作，但仍处于测试阶段，注意风险 默认情况下，后端存储库已被删除，但可以在新的 SolydXK 系统应用程序中启用 solydx/k-info 软件...阅读全文
Kubernetes 1.14 发布了，些版本主要关注可扩展性并支持更多工作负载，带来了 30多项功能增强，其中包括从 beta 到稳定的 10 项功能。亮点包括以下几部分。 持久化本地存储 持久性本地存储的主要用例是数据库和分布式文件系统。这是一个重要里程碑，显然，本地存储的性能优于远程磁盘，无论该存储是由云提供商提供的本地 SSD 还是连接到裸机系统的磁盘。 Windows 节点的生产级支持 绝大多数企业都拥有包含 Windows 工作负载的异构环境，现在不必寻找其它协调器来管理这些 Windows 容器。Kubernetes v1.14 改进支持了 pod、服务类型、工作负载控制器和 metrics/quotas，使得与 Linux 功能相当。 PID 限制 目前处在测试阶段...阅读全文
1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
本周的 Intel 数据创新大会上，傲腾持久内存正式发布，采用 DDR4 接口和协议，既可以当纯粹的 DDR4 内存，又可以做存储型缓存盘。 Intel 借助 3D Xpoint 技术实现了 DRAM 和 NAND Flash 共享同一种存储芯片，即傲腾（Optane）。按照 Intel 公布的信息，傲腾内存条容量目前提供 128GB、256GB、512GB。 虽然 Intel 没有公布价格，但美国采购商已经偷跑， 其中 128GB 在 842~893 美元（约最低 5656 元），256GB 在 2668~2850 美元（约最低 1.79 万元），512GB 还不详（预计 6000~7000 美元）。 显然，比起同容量的 SSD 着实贵了不少，但比起企业级内存条（128GB 要 4500...阅读全文
据外媒报道，磁性随机存取内存(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片，另外他们已经将这款高寿命、非易失性的内存芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力，相较于普通的NAND闪存技术，它可以减少写入放大倍数并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示，供应商可以利用持久的记忆技术设计企业级SSD或对现有的储存产品展开进一步的改善。 据了解，ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出，从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键，另外...阅读全文
"read" from the disk and stored for later use. 2.1 Cache Cache：高速缓存，是位于CPU与主内存间的一种容量较小但速度很高的存储器。 由于CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了系统的效率。 Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache)，L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。 2.2 Buffer Buffer：缓...阅读全文
Kubernetes 1.7已经发布，该版本聚焦于安全、存储和扩展性等交付特性，其中包括Network Policy API、StatefulSets自动升级策略以及可扩展的API聚合层。Kubernetes的上一个发布版1.6版侧重于解决规模化和自动化上的问题，显然最新的1.7发布版力图为Kubernetes在企业组织中的进一步采用夯实基础。需注意的是，虽然1.7版的核心集群编排功能是以稳定版提供，但是其中给出的一些头条发布特性在文档中被标为Alpha版或Beta版。 新提供的安全特性包括：Network Policy API。该API当前已提升到稳定版，在实现为网络插件时，用户可以设置并强制使用规则，指定可相互通信的Pod（类似于在用的网络/云ACL）；节点授权器（Node...阅读全文
按Kubernetes每季推出新版本的周期，暨今年3月底发布1.6版后，应该即将有一波大公布。果不其然，作为Kubernetes 1.7开发团队成员之一的Mirantis，在近日宣布，Kubernetes 1.7版会如期在6月底发布。 在1.6版中，Kubernetes不仅新增了角色权限控管，还将集群规模扩大至5,000个节点，但对Kubernetes社区而言，1.6版只不过是求稳定，并无太多新功能。Mirantis表示：1.7版本则是全力锁定推新功能，预计会有超过50个新功能，例如丛集联邦、安全性以及容器网络。 而根据Kubernetes现今对外的文件，还可发现许多有趣的新功能，像是支持容器基础组件Containerd、加强容器Runtime接口等。在容器储存功能方面，则预计开始支持本地...阅读全文
SK海力士今天正式发布了最新款的企业级SSD PE8000系列，包括PE8010、PE8030、PE8111三款型号，这也是其首款PCIe 4.0 SSD，无论存储密度、容量还是性能都是世界一流的，甚至是超一流的。 PE8010、PE8030都配备了SK海力士自产的96层堆叠4D TLC NAND闪存颗粒，搭配自研主控，最大容量8TB，兼容U.2、U.3接口，其中PE8010面向读取密集型应用，PE8030则为读写混合应用而优化。 性能方面，持续读写速度最高均可达8.3GB/s、3.7GB/s，随机读写速度最高则可达1100K IOPS、320K IOPS。 相比于去年的上代产品，持续读取性能提升103％，随机写入性能提升357％，另外最大功耗为17W。 PE8111则是针对读取密集型负载...阅读全文
华为提供了一个基于 CentOS 的企业级 Linux 发行版 EulerOS，华为也发布了一个名为 openEuler 的 EulerOS 社区版。 openEuler 的源代码也一同发布了，源代码可以在 Gitee 找到。它有两个独立的代码库，一个用于存储源代码；另一个作为软件包的源代码，存储有助于构建该操作系统的软件包。 openEuler 基础架构团队分享了他们使源代码可用的经验： 我们现在很兴奋。很难想象我们会管理成千上万的仓库。为了确保它们能被成功地编译，我们要感谢所有参与贡献的人。 openEuler 是基于 CentOS 的 Linux 发行版 与 EulerOS 一样，openEuler OS 也是基于 CentOS，但华为技术有限公司为企业应用进一步开发了该操作系统...阅读全文
如果你经常让你的系统经历休眠周期，那么从即将开始的 Linux 5.10 周期开始，性能应该会好很多。在即将到来的Linux 5.10合并窗口中，有一个变化允许对休眠/恢复的I/O请求进行批处理，以加快休眠和恢复进程。 到目前为止，Linux 内核依靠为每一页数据提交单独的 I/O 请求，但现在 Linux 5.10+ 的时候，它设置为使用 batch 与 blk_plug。 开发者Xiaoyi Chen的内核补丁解决了这一问题：合并I/O请求让系统休眠和恢复的速度提升了一个数量级以上。在使用的32GB内存中，16GB内存的一个休眠和恢复周期在改变前需要21分钟左右，在存储IOPS有限的系统上，改变后仅需要1分钟。" Xiaoyi Chen在亚马逊EC2旗下主导了这项工作，这项改变是在系统...阅读全文
Redis 创始人兼核心开发者 antirez 在博客 介绍 了将在 Redis 6 提供的新功能 —— Client side caching（客户端缓存）。 antirez 表示 全新的 Redis 协议 RESP3 将是 Redis 6 中最重要的特性，并解释了他为何如此急切地改进 Redis 协议，原因主要有两个，一是因为希望能为客户端提供更多的语义化回复（semantical replies），以开发使用旧协议难以实现的功能；另一个原因也是 antirez 认为最重要的一个，实现 Client side caching（客户端缓存）功能 。 这个功能十分常见，但 Redis 尚未提供。 当使用者需要进行快速存储或快速取操作时，就需要在客户端内存中存储一小部分信息，这是为了降低程序...阅读全文
从 Notion 到 Focalboard近两年来，Notion 作为一款在线笔记应用，以其强大的功能和优雅的颜值获得了大量用户的关注和喜爱。大量的用户通过 Notion 的 Block 、Database等功能，挖掘了适合教育、营销、市场管理、开发等多个场景的使用模版。然而，Notion 在国内使用也有不少槽点：加载速度慢、迟迟没有提供汉化版、不能离线使用、本地存储等。当然，这些槽点也有一些解决方案。比如，针对网络问题，可以使用 Notion Fast等插件进行加速；针对语言问题，现在已经有了非官方的汉化方案。离线使用和本地存储的话，不知道 Notion 是否有相关规划。Notion对于一些用户而言，由于工作环境存在数据加密等需求，离线使用和本地存储成为刚需。对此，Anytype 这款开...阅读全文
的异步模型。2.6 及以前的版本，元数据全部存储在 URL 上，配置信息和注册信息只能存储在注册中心上，注册中心的容量和扩展成为瓶颈。这个限制在使用 ZooKeeper 作为注册中心的大规模 Dubbo 应用场景下尤为突出。在 2.7.0 中，通过对 URL 的改造，将 注册中心拆分成了三个中心 ，分别是注册中心、配置中心和元数据中心，三者各司其责，不仅有效地解决了上述容量问题，而且很好地适应了微服务的技术架构，用户可以开始自由选择适合自己场景的注册中心和配置中心。2.7.0 将内建支持 ZooKeeper、Nacos 和 Apollo 等第三方注册和配置中心，在后续的版本中，还会进一步提供对 Consul 和 etcd 的支持。另外，通过引入一个全新的元数据中心，将与注册配置无关的服务信息...阅读全文
Redis的一些开发规范和建议： 1.冷热数据分离，不要将所有数据全部都放到Redis中 虽然Redis支持持久化，但是Redis的数据存储全部都是在内存中的，成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】，对于低频冷数据可以使用MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式，不仅节省内存成本，而且数据量小在操作时速度更快、效率更高！ 2.不同的业务数据要分开存储 不要将不相关的业务数据都放到一个Redis实例中，建议新业务申请新的单独实例。因为Redis为单线程处理，独立存储会减少不同业务相互操作的影响，提高请求响应速度；同时也避免单个实例内存数据量膨胀过大，在出现异常情况时可以更快恢复服务！ 在实际的使用过程中，redis最大的瓶颈一般是...阅读全文
系统菜单中的 Lite Tweaksv 工具，选择“Kernel Installer”功能来安装更新，同样在安装完成之后需要重启你的电脑。 Linux Kernel 4.14 LTS 的主要功能就是为 x86 硬件部署了更大的存储限制，虚拟地址空间提升至 128PiB，物理硬件空间提升至 4PiB。此外还引入了全新的 ORC unwinder 来改进内核追踪和内核尺寸。 Linux Kernel 4.14 LTS 同时为 Btrfs 和 SquashFS 文件系统引入了 zstd 压缩，能够从用户存储到 sockets 实现 zero-copy 数据，改进 SMP 的 cpufreq 协调，同步 non-blocking buffered 读取，以及对 PCID 指令更快的 TBL 刷新。...阅读全文
IPv4 和 IPv6 两个地址。注意，如果使用了 CNI 插件和云服务商扩展（Cloud Provider），CNI 插件和云服务商扩展也需要支持 IPv4/IPv6 双栈。CSIVolumeHealth Alpha 和 CSIStorageCapacity Beta从 v1.21 开始，Kubernetes 支持 CSI 存储插件的 Volume 健康检查（Alpha 版），CSI 插件需要实现外部健康监控控制器。当 Volume 或者 Node 出现异常时，该控制器会向 Volume 所属的 PVC 以及使用该 PVC 的 Pod 发送一个异常事件。CSIStorageCapacity 用于跟踪 CSI 存储容量并确保 Pod 调度到足够存储容量的节点上。该特性从 v1.21 开始进入...阅读全文
在使用 git 时，如果不是使用ssh 和 key 验证的方式，则每次提交都会让输入用户名和密码，会显得比较麻烦，在服务器上配置时也无法做到自动同步更新代码。那么如何解决这个问题呢？我们这里介绍除 ssh + key 以外的免密码登录方式。在全局中存储用户的账号密码 以 Windows 环境为例，在 %HOME% 目录中，一般为C:\Users\username（也可以是你自己创建的系统用户名目录）目录下，创建.git-credentials 文件。 文件内容为一行，样例如下： https://username:password@git.example.com 注：username对应的 git 服务器的用户名，password 为密码。然后再进入 git bash 中执行， git...阅读全文
程序可以处理这些更复杂的工作负载之前，还有很多工作要做。甚至由于驱动程序错误或未实现的 Vulkan 功能，连 Sascha 的一些演示都无法运行。 为此，接下来几个月的工作将集中在支持基本的 Vulkan 1.0 功能集，至少涉及支持计算着色器、输入附件、纹理像素缓冲区、存储镜像、pipeline 缓存和多重采样。在 Vulkan 1.0 中，还需要支持其它一些功能，例如健壮的缓冲区访问等。 一旦完成了功能开发，则可能会将重心转移到 CTS 一致性上，这将全部用于 bug 修复，并处理特殊情况。最后也会有许多性能调整和优化工作。 Raspberry Pi 基金会还介绍，目前已经将驱动程序的开发转移到一个开放的存储库中，开发者可以在其中找到有关如何构建和安装驱动的说明。...阅读全文
Linux 的 I/O 调度器是一个以块式 I/O 访问存储卷的进程，有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列：确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备，以此来减少磁盘寻道时间，从而提高系统的吞吐量。 目前 Linux 上有如下几种 I/O 调度算法： noop - 通常用于内存存储的设备。 cfq - 完全公平调度器。进程平均使用IO带宽。 Deadline - 针对延迟的调度器，每一个 I/O，都有一个最晚执行时间。 Anticipatory - 启发式调度，类似 Deadline 算法，但是引入预测机制提高性能。 查看设备当前的 I/O 调度器： # cat /sys/block//queue/scheduler 假设磁...阅读全文
(SARAO)，加州大学圣克鲁兹分校开放源码软件研究中心(CROSS)等。 Linux基金会执行董事Jim Zemlin说："Ceph在帮助企业有效管理高增长和扩展数据存储需求方面有非常丰富的经验，在Linux基金会下，Ceph基金会将能够利用更多资源来帮助完善Ceph生态系统建设。" Ceph联合创始人&Red Hat Ceph首席架构师 Sage Weil说："Ceph基金会的成立证明了一个多元化的开源社区的力量所在，各方共同联合起来致力于解决数据存储和数据服务的爆炸性增长。" Ceph被世界各地的云提供商和企业使用，包括金融机构（Bloomberg，Fidelity），云服务提供商（Rackspace，Linode），学术和政府机构（Massachusetts Open Cloud），电信基础设...阅读全文
今天我们公布了Kubernetes 1.7，这一里程碑版本引入了更为强大的安全性、存储以及扩展性因素，旨在满足Kubernetes在广泛企业环境下所面临的实际需求。 这次发布的版本中安全方面的改进包括加密的Serect，Pod到Pod通讯的网络策略，限制kubelet访问的节点授权器（node authorizer），和客户端/服务端 TLS 证书轮换。 对于在Kubernetes上伸缩数据库的用户，这次版本有一个重要特性向StatefulSet添加了自动化的更新，并增强了对DaemonSet的更新。同时我们宣布对本地存储和用于更快速伸缩StatefulSet的加速模式（burst mode）的alpha支持。 同时，对于高级用户，这次版本中的API聚合允许用户提供的API服务器和...阅读全文
Cloudflare宣布Auto RAG(全托管检索增强生成服务)于2025年4月7日开放测试，该服务旨在简化情境感知AI系统在应用中的集成流程。 Auto RAG利用自有数据源与大语言模型实时结合，提高AI响应准确性，解决传统LLM知识时效性不足的问题。开发者此前需手动串联数据存储、向量数据库、嵌入模型等组件并处理索引更新，现由AutoRAG端到端托管。 > AutoRAG的核心功能为自动数据摄取、分块嵌入、向量存储于Cloudflare Vectorize数据库，以及基于语义检索生成智能响应。其流程包括： > > 索引构建：从支持Cloudflare R2的数据源读取文件，转换为Markdown格式（含图像视觉-语言转换）、分块并生成嵌入向量； > > 查询处理...阅读全文
看着SSD气势汹汹，机械硬盘丝毫不敢懈怠，唯有不断推陈出新大容量产品，同时把容价比做到更低。据说淘宝上出现了一批全新/充新HGST 8T企业盘，由不景气的乐视云内部流出，居然只要千元出头。 就目前而言，西数、东芝均发布了14TB，前者使用SMR（叠瓦式磁记录），后者使用传统的PMR（垂直磁记录），9碟充氦。 而且，巨头均规划了16TB硬盘，预计明年推向市场。 近日，知名存储服务商Backblaze刊文报道，希捷CTO（首席技术官）Mark Re介绍称，HAMR（热辅助磁记录）存储技术硬盘已经越来越接近商用了。 今年10月的容量密度还是2Tbpsi（每平方英寸容量），Mark Re此次透露，目前已经达到5Tbpsi，是当下希捷最大的12TB硬盘（PMR）1.3Tbpsi的3.8倍，而HAMR...阅读全文
，意味着树莓派 4 能够支持高动态范围（HDR）的 4K p60 HEVC 视频解码、并同时带动两台 4K 显示器。同时，这是消费者首次能够选择 1GB / 2GB / 4GB 运存，且起售价维持 35 美元（240 RMB）不变。 本次升级后，你可以将树莓派 4 当做一台完整的台式电脑来使用，因为官方提供了一整套的桌面配件。套件中包括了主板、机箱、USB 键鼠、电源、两根 HDMI 线、32GB Micro SD 存储卡、以及初学者指南，可帮助您充分发挥设备的潜力，价格为 105 英镑（919 RMB）。 显然，随着树莓派 4 带来的最新改进，树莓派基金会有望帮助人们解决更多的问题。下面是树莓派 4 的详细规格： 处理器：博通 BCM2711，四核 Cortex-A72、64 位 SoC、主...阅读全文
10 月 31 日消息，Intel 宣布，已经为广泛部署傲腾数据中心用、非易失性内存条（Optane DC persistent memory）做好了准备。 目前，Beta 项目已经启动，参与的 OEM（原始设备制造商，如华为、联想等）和 CSP 伙伴（云服务伙伴，如谷歌、阿里巴巴、亚马逊、微软等）可以更早地向客户接入由傲腾非易失性内存条驱动的系统， 从而为 2019 年上半年批量上线奠定基础。 傲腾非易失性内存基于 3D Xpoint 技术，和目前的傲腾 SSD 共享存储芯片，从而弥补了传统 DDR4 内存不具备的数据永固和大容量特性， 单条最大 512GB，可配合 Xeon Scalable 处理器使用。 特别的，Intel 此次为傲腾 DC 非易市内存提供应用模式和内存模式，前者可理...阅读全文
制 ：这是 PostgreSQL 在物理复制之外提供的另一种可选方案，提供了更大的灵活性，而且配置简单。 改进并行查询 ：在查询很多时应该会有 2 到 4 倍的速度提升。 更强大的密码哈希算法 ：使用了 SCRAM -SHA–256。 关于 PostgreSQL 10，还有更多的特性正在开发之中，就像 2ndQuadrant 创始人兼首席执行官 Simon Riggs 在最近的一次演讲中所 介绍 的那样。包括 PostgreSQL 10 官方路线图在内，正在进行中的特性开发工作还有诸如以下这些： 自治事务 多主集群，使用 分片 提高扩展性和可用性 查询 JIT 编译 可插拔的存储引擎（columnar、内存内存储等） 页级数据压缩等 改进临时表性能 不过，哪些特性将成为 PostgreSQL...阅读全文
Ceph 是一个可扩展的分布式存储系统，性能卓越，安全可靠。 Ceph 12.2.0 正式版已发布。这是Luminous v12.2.x长期稳定版本的第一个版本。在Kraken（v11.2.z）和 Jewel（v10.2.z）后我们做了很多重大修改，而且升级过程并不简单哦。请仔细阅读版本说明。 在 Kraken（v11.2.z）版本上进行的重要修改 通用 Ceph现在有一个内置的简易DarshBoard，用于监控集群状态。 RADOS Bluestore ceph-osd的新后端存储BlueStore已经稳定，是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件系统，来管理每个OSD存储的数据，这提供了更大的性能和功能...阅读全文
source /etc/profile Hadoop文件配置 配置文件都在etc/hadoop/文件夹下 1. hadoop-env.sh # jdk环境变量 （因为要远程调用 ${java_home}找不到变量） export JAVA_HOME=/usr/lib/jvm/jdk 2. workers # 添加所有slave机器的hostname slave1 slave2 slave3 3. core-site.xml