Debian 爱好者社区 为您找到相关结果 778

Linux内存buffer和cache的区别

在Linux的内分配机制中,优先使用物理内,当物理内还有空闲时(还够用),不会释放其占用内,就算占用内的程序已经被关闭了,该程序所占用的内用来做缓使用,对于开启过的程序、或是读过得会比较快。 一. 内使用说明 Free 命令相对于top 提供了更简洁的查看系统内使用情况: [root@debian ~]$ free total used free shared buffers cached Mem: 1035108 1008984 26124 0 124212 413000 -/+ buffers/cache: 471772 563336 Swap: 2096472 842320 1254152 这里显示的单位是KB。 在Linux的内分配机制中,优先使用物...阅读全文

Redis 6 将采用全新协议RESP3 提供客户端缓存功能

时的延迟。此功能在大规模的应用程序上十分重要,因为离应用程序越近,程序就能更快获。 antirez 受 Ben Malec 演讲的启发,他想到可以将大部分需要频繁直接放在服务器的内中,以便让 Redis 为客户端完成部分工作,并使客户端缓更简单、更有效。这个就是 Client side caching(客户端缓)的概念。 不过这个思路有一个需要解决的问题是,如何控制的有效时间?在程序允许的情况下,虽然可以直接设置的有效时间,让在一段时间后失效。但 antirez 表示,大多的应用程序无法接受提供过时的的风险,因此必须找到更理想的方案来控制的失效时间。 所以 antirez 决定开发新的协议 RESP3,在协议中加入新特性来支持客户端...阅读全文

项目总结报告应该怎么写

了10个工作日的延期,那我们会针对这个问题抽指标分析原因,但如果下个版本此问题不在,则指标消。当然,如果目前的指标集不能反映当前问题,我们会根实际情况扩充指标集。固定通用指标是指业界认可的一些评定标准,如开发代码千行代码bug率;或者对于项目人员关注的指标信息我们也会将这类指标抽出来作为通用指标,如线上遗留问题原因等。以输入法为例,下图是输入法项目总结中的指标集。总结:1)制定的指标可以通过定量的衡量;2)制定的指标要项目组三方认知达成一致,且三方都认可。3. 项目分析在第二步中选指标后,我们就要根指标进行分析。在分析过程中我们要注意异常,对于异常我们要进行深入分析,直到找到问题的根本,的分析才算到位。总结:1) 对通用指标的分析时,一般不少于三...阅读全文

Scrapy 架构及数据流图简介

Scrapy 是一个为了爬网站,提结构性而编写的应用框架。 可以应用在包括挖掘、信息处理或储历史等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制流在系统中所有组件中流动,并在相应动作发生时触发事件。 详细内容查看下面的流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获页面并提供给引擎,而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提item(即获到的item)或额外跟进的...阅读全文

博文 2017-07-23 22:56:26 debian.cn

Hadoop 核心 - HDFS 分布式文件系统详解

储系统. HDFS 使用多台计算机储文件,并且提供统一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统。 HDFS文件系统 2. HDFS架构 HDFS架构 HDFS是一个主/从(Mater/Slave)体系结构,由三部分组成: NameNode 和 DataNode 以及 SecondaryNamenode: NameNode 负责管理整个文件系统的元,以及每一个路径(文件)所对应的块信息。 DataNode 负责管理用户的文件块,每一个块都可以在多个 DataNode 上储多个副本,默认为3个。 Secondary NameNode 用来监控 HDFS 状态的辅助后台程序,每隔一段时间获 HDFS 元的快照。最主要作用是辅助 NameNode 管理元...阅读全文

基于thanos搭建分布式prometheus

prometheus在单点问题,具体痛点可以这么描述: prometheus单机储和抓能力都有上限,容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓不同的target来分摊压力的,但是grafana就要为不同的图表配置不同的prometheus地址,复杂程度比较棘手。 thanos+prometheus可以解决这个问题,它提供了一个核心能力: 1,thanos querier组件可以反向代理到N个prometheus,然后grafana直接指向thanos querier即可,thanos querier会从N个prometheus同时查询,返回满足Promql的结果; 2,如果N个prometheus抓在重复的,那么thanos...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

Cloudflare 推出 AutoRAG:简化 AI 系统开发流程

Cloudflare宣布Auto RAG(全托管检索增强生成服务)于2025年4月7日开放测试,该服务旨在简化情境感知AI系统在应用中的集成流程。 Auto RAG利用自有源与大语言模型实时结合,提高AI响应准确性,解决传统LLM知识时效性不足的问题。开发者此前需手动串联储、向量库、嵌入模型等组件并处理索引更新,现由AutoRAG端到端托管。 > AutoRAG的核心功能为自动、分块嵌入、向量储于Cloudflare Vectorize库,以及基于语义检索生成智能响应。其流程包括: > > 索引构建:从支持Cloudflare R2的源读文件,转换为Markdown格式(含图像视觉-语言转换)、分块并生成嵌入向量; > > 查询处理...阅读全文

大起底:揭开亚马逊云计算丰厚利润的秘密 - 电子商务

”、“简单储服务”等储业务,再加上保和提的”关系库服务”和迁移费,这占到了亚马逊云计算的七成收入。不过在今天,亚马逊更加注重更复杂的高级云计算功能,它们不仅利润率高,而且让企业客户切换服务商的成本更高。比如在五月份,塞林普斯基在Twitter上介绍了一个新服务“应用运行器”(App Runner),可以在虚拟容器中部署应用软件,这可以让企业用户把精力集中在业务构建上,而不是管理“容器”或是“基础设施”。美国贝尔斯登研究公司六月份发布的一份报告指出,2015年,亚马逊云计算14%的收入来自于高毛利的“平台即服务”云计算产品,其余来自于低端的“基础设施即服务”产品。但是贝尔斯登认为,在去年上半年,平台即服务的收入占比已经提高到了18%。美国科技业人士乔·金塞拉(Joe...阅读全文

博文 2021-09-07 11:41:54 cnBeta.COM

谷歌安全博客披露“ 英特尔内核漏洞 ”更多细节

去年的时候,Google 旗下 Project Zero 团队发现了一个由 CPU “ 预测执行 ” 导致的严重安全漏洞,而它也是一项被大多现代处理器使用的性能优化方案。根研究人员 Jann Horn 的演示,恶意攻击者可借此读不该被它访问到的系统内。某个未经授权的一方,可能在系统内中读到一些敏感信息,比如密码、加密密钥、或者在应用程序中打开的其它机密信息。 测试还表明,在一台虚拟机上发起的攻击,甚至能够访问到主机的物理内。基于此,还可以获在同一主机上、不同虚拟机的内访问。 该漏洞影响许多 CPU,包括来自英特尔、AMD、ARM 的芯片,以及搭配运行的设备和操作系统。在获悉这种新型攻击的第一时间,谷歌安全和产品开发团队就积极动员了起来,以保护自家系统和用户。 万幸...阅读全文

博文 2018-01-06 23:38:25 debian.cn

influxdb内存消耗分析及性能优化【探索篇】

influxdb中库名 use iot_cloud #修改保留策略为周期为3天,每2小时一分片 alter retention policy rp_iot_cloud on iot_cloud duration 3d REPLICATION 1 SHARD DURATION 2h default调整为2小时一分片之后,SHR内峰值会减少10-15g左右的占用。但是缩短分片间隔之后,influxdb会更频繁的进行内部自检及压缩,会造成cpu及磁盘io的消耗。所以继续考虑SHR占用较大对系统会有什么影响?应用程序在启动之后,会共享系统一些内:堆内(共享函库消耗的堆空间)文件缓(从磁盘读文件进行缓)对于共享堆内则是必须占用的物理空间,而文件缓则是系统针对磁盘读的优化。目前...阅读全文

博文 2021-10-27 16:06:30 知乎

最全 MongoDB 基础教程

否唯一。指定为true创建唯一索引。默认值为false name string 索引的名称。如果未指定,MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称 dropDups Boolean 3.0+版本已废弃。在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引。默认值为 false sparse Boolean 对文档中不在的字段不启用索引;这个参需要特别注意,如果设置为true的话,在索引字段中不会查询出不包含对应字段的文档.。默认值为 false expireAfterSeconds integer 指定一个以秒为单位的值,完成 TTL设定,设定集合的生时间 v index version 索引的版本号。默认的索引版本决于mongod创建索引时运行的...阅读全文

博文 2021-02-22 07:45:45 OSChina

SpringCloud 之外的选择:国产JBoot v1.7.1 发布

JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓、限流、降级、熔断、统一配置中心、Opentracing 追踪、metrics 监控、分布式 session、代码生成器、shiro 和 jwt 安全控制、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下: 新增:redis 添加自定义序列化配置的功能 新增:Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获 rpc service 新增:JbootController 添加 getRawObject() 方便获 api 传过来的 json ...阅读全文

博文 2018-10-24 13:19:05 debian.cn

Cortex: 高可用和水平扩展Prometheus监控系统

Querier–查询器处理PromQL的求值。如果是最近的,则从大块储和或内部获样本其他组件:Ruler–处理alertmanager产生的警报Alertmanager –评估警报规则ConfigsAPI –在Postgres中储Ruler和Alertmanager的配置Table Manager–负责在选定的块chunk/索引index储后端中创建表Consul –储分发服务器distributor生成的一致的哈希环(hash ring)。分发服务器在发送指标时使用散列值来选择ingester。与其他选项的异同ThanosThanos和Cortex具有非常相似的目标:聚合指标,将其储在块储中,并为所有度量使用一块single pane。因此,两个项目重用大量Prometheus代码也...阅读全文

博文 2021-10-09 17:00:22 知乎

案例:Redis命令不当 引起数据库雪崩 造成数百万损失

中删除。同时还可以提供一个守护进程,当发现备份队列中的消息过期时,可以重新将其再放回到主消息队列中,以便其它的消费者程序继续处理。 7.谨慎全量操作Hash、Set等集合结构 在使用HASH结构储对象属性时,开始只有有限的十几个field,往往使用HGETALL获所有成员,效率也很高,但是随着业务发展,会将field扩张到上百个甚至几百个,此时还使用HGETALL会出现效率急剧下降、网卡频繁打满等问题【时间复杂度O(N)】,此时建议根业务拆分为多个Hash结构;或者如果大部分都是获所有属性的操作,可以将所有属性序列化为一个STRING类型储!同样在使用SMEMBERS操作SET结构类型时也是相同的情况! 8.根业务场景合理使用不同的结构类型 目前Redis支持的库结构类型...阅读全文

博文 2018-10-27 10:18:18 debian.cn

GitHub 发布10月21日系统故障分析报告

都包含了其它中心中不在的写入,因此无法安全地将主要库故障转移到美国东海岸中心。 GitHub 工程师发现问题后进行了一系列抢救措施,“最终没有用户丢失,但是,几秒钟的库写入的手动协调仍在进行中。” GitHub 对所有受影响的用户表示歉意,并表示“我们已经吸了教训,并且采了一系列急救措施,我们希望更好地确保不再发生类似情况。” 同时 GitHub 也表示接下来将解决由此导致的不一致问题。详细分析与事件时间线请查阅 GitHub 公告。...阅读全文

Apollo 配置中心简单介绍

(命名空间) 一个应用下不同配置的分组,可以简单地把namespace类比为文件,不同类型的配置放在不同的文件中,如库配置文件,rpc配置文件,应用自身的配置文件等应用可以直接读到公共组件的配置namespace,如DAL,RPC等应用也可以通过继承公共组件的配置namespace来对公共组件的配置做调整,如DAL的初始库连接 4.2 自定义Cluster 【本节内容仅对应用需要对不同集群应用不同配置才需要,如没有相关需求,可以跳过本节】 比如我们有应用在A中心和B中心都有部署,那么如果希望两个中心的配置不一样的话,我们可以通过新建cluster来解决。 4.2.1 新建Cluster 新建Cluster只有项目的管理员才有权限,管理员可以在页面左侧看到“添加集群”按...阅读全文

博文 2021-04-09 17:53:51 CSDN

Everspin宣布千兆级芯片ST

外媒报道,磁性随机(MRAM)将在今年达到一个新的里程碑。Everspin宣布开始尝试打造1Gb (128MB)的ST-MRAM芯片,另外他们已经将这款高寿命、非易失性的内芯片生产提上议程。 Everspin的ST-MRAM能够提供持久的记忆能力,相较于普通的NAND闪技术,它可以减少写入放大倍并拥有更好的耐用性。 这款新芯片采用的则是一个兼容DDR4的接口。这家公司表示,供应商可以利用持久的记忆技术设计企业级SSD或对现有的储产品展开进一步的改善。 了解,ST-MARAM的密度要比公司旗下现有的任何256MB(32MB)芯片大得多。Everspin指出,从Global Foundries的40nm工艺到foundry 28nm工艺的转变是开发这种千兆级芯片的关键,另外...阅读全文

本田 40GB 数据险遭泄漏 因云端数据库未设密

拍摄的截图(Justin Paine 在博客中展示了一些处理过的图片)。我们将根相关法律法规采适当行动,并将继续采积极主动的安全措施,以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行,但近年因为其未加密而发生的泄露事件不在少: 2017 年,白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测,最终发现因被攻击而删除的至少 500 亿条,被删除规模至少 450TB。系统显示,互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台,受害总达 9750 台。其中,美国 4380 台,中国第二为 944 台,其余来自法国、爱尔兰和新加坡等地。此次事件后,1...阅读全文

高性能日志采集工具 logpipe 简单介绍

性的,这很关键。 logpipe 概念朴实、使用方便、配置简练,没有如 sink 等一大堆新名词。 logpipe 由若干个 input、事件总线和若干个 output 组成。启动 logpipe 管理进程 (monitor),派生一个工作进程 (worker),监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个 input 插件和若干个 output 插件,进入事件循环,任一 input 插件产生消息后输出给所有 output 插件。 logpipe 自带了几个插件,分别是: logpipe-input-file 用 inotify 异步实时监控日志目录,一旦有文件新建或文件增长事件发生(注意:不是周期性轮询文件修改时间和大小),立即捕获文件名和读文件追加。该插件拥有文件大小...阅读全文

Redis 命令、特性介绍与性能调优

,时间复杂度O(1) GET:获某个key对应的value,时间复杂度O(1) GETSET:为一个key设置value,并返回该key的原value,时间复杂度O(1) MSET:为多个key设置value,时间复杂度O(N) MSETNX:同MSET,如果指定的key中有任意一个已在,则不进行任何操作,时间复杂度O(N) MGET:获多个key对应的value,时间复杂度O(N) 上文提到过,Redis的基本类型只有String,但Redis可以把String作为整型或浮点型字来使用,主要体现在INCR、DECR类的命令上: INCR:将key对应的value值自增1,并返回自增后的值。只对可以转换为整型的String起作用。时间复杂度O(1) INCRBY:将key对应的...阅读全文

博文 2018-10-27 10:37:55 debian.cn

490MB/s 金士顿新款外置SSD发布:最高960GB

随着互联网的高速发展,云储技术已经相当成熟了,网盘成了人们工作和学习中不可缺少的部分。尽管如此,离线储技术也无法被代,毕竟在没有网络的情况下,离线储才是最佳的解决方案。 而目前使用的最多的且最方便的离线储设备就是U盘,凭借小巧便携的体型设计赢得了广大用户的喜爱,但随着的日益膨胀,小小的U盘无论是在读写速度还是在容量上已经无法满足我们日益增长的储需求。 而今天,金士顿在CES大会上展示了一款离线储设备——HyperX Savage EXO外置SSD。HyperX Savage EXO外置SSD外壳采用聚碳酸酯打造,储颗粒为3D TLC NAND闪,拥有480GB和960GB两种容量可供选择。 外置SSD的接口为USB3.1 Gen 2,带宽高达10Gbps,实际连续读写...阅读全文

博文 2018-01-08 20:54:57 debian.cn

NVDIMM-P非易失内存标准公布:断电不丢数据、兼容DDR4

。 - 大容量:支持扩展的内寻址功能。 - 支持即插即用:在电脑开机时可以直接插入标准的双列内插槽,并立刻与同一总线上的DDR内交互操作。 NVDIMM-P的主要特征: - 与现有DDR通道完全兼容,包括物理接口、电气性能、协议、时钟。 - 保证为下一代CPU插槽增加的针脚尽可能少。 - 协议支持时的不确定延迟。 - 确保在非易失内中的事务性操作。 - 从NAND到DRAM多种延迟模式的支持(在模块级别)。 - 内本身具备高可靠性、链路错误保护功能。 事实上,NVDIMM是一个系列标准,除了这里说的NVDIMM-P,还有NVDIMM-F、NVDIMM-N、NVDIMM-H。 NVDIMM-F本质上就是DDR接口的SSD固态盘,只使用NAND闪,优点是延迟低(纳秒级别)、带宽高...阅读全文

Golang 中的 channel 通道详解

,channel的零值也是nil。两个相同类型的channel可以使用==运算符比较。如果两个channel引用的是相同的对象,那么比较的结果为真。一个channel也可以和nil进行比较。通道的操作发送ch := make(chan int,0) // 创建一个无缓区的int channel ch <- 998 // 向通道发送一个int类型的值10 接收receiver := <-ch //将通道ch的值出,赋值给变量receiver <- ch //将通道ch的值出,忽略结果 关闭close(ch) // 关闭通道 关于关闭通道需要注意的事情是,只有在通知接收方goroutine所有的都发送完毕的时候才需要关闭通道。通道是可以被垃圾回收机制回收的,它和关闭文件是不一样的,在结束操作之后关闭...阅读全文

PostgreSQL 增量同步方案设计

文件的偏移的组合. PG的位点概念对于物理流复制和逻辑流复制是统一的. 1) PG对应逻辑 slot 的位点信息保库端,具有断点续传特性. 2) 除非需要跳过某部分,则使用 0/0 去请求拉对应 slot 的逻辑日志. 3) PG的位点不对应时间点. 对于客户端,在建立连接后,读到的增量信息以消息的形式出现,可以分为三类信息 1) 事务开始,begin 2) 事务结束,commit 3) 事务中单个表的变化信息,分为 a) insert b) update c) delete 根表 REPLICA 的状态不同,各类DML收到的信息略有变化. ## 五:编译和使用 ### 1 编译 1 编译机上下载安装 PG94 或更高版本的二进制,或用源码安装. 2 使用软链接或别的方式,把...阅读全文

博文 2025-03-13 10:41:48 joseph

Harbor 1.9 发布:新增多项企业级功能

并对其所含信息采相应的操作。例如,您可以将 Harbor 配置为在成功推送镜像后向 Webhook 侦听器发送一个 POST 请求,从而触发 Kubernetes 应用程序的部署,以执行您的测试套件,或者仅仅更新您的 CMDB。 配额(Project Quotas) 配额有助于项目管理员对资源的使用加以控制。具体而言,您可以限制项目所含 tag 的目,以及项目可占用的储容量。您可以设置适用于所有项目的全局默认配额,也可以为个别项目设置配额以覆盖系统设置。镜像容量会根其实际大小进行计算,并会在同时推送多个镜像时考虑所有相关镜像之间的层共享情况。配额可以与其他机制无缝协调工作,例如重新 tag、在线垃圾回收和保留策略,从而可始终合理管理各个工件,并且不会浪费空间。 Tag 保留...阅读全文

博文 2019-10-09 12:12:04 debian.cn

Dubbo 2.7.0发布 分布式RPC服务框架

中心解耦,增加对 Apollo 等第三方专业配置中心的支持,更易于扩展新增应用级别的动态配置规则规则体使用更易读、易用 YAML 格式外部化配置。支持读托管在远程的集中式配置中心的 dubbo.properties,实现应用配置的集中式管控。更精炼的注册中心 URL,进一步减轻注册中心储和同步压力,初步实现地址和配置的职责分离。新增服务元中心,负责储包括服务静态化配置、服务定义(如方法签名)等,默认提供 Zookeeper, Redis 支持。此功能也是 OPS 实现服务测试、Mock 等治理能力的基础。异步编程模式增强(限定于 Dubbo 协议)原生 CompletableFuture 签名接口支持服务端异步支持异步 Filter 链新增 Protobuf 序列化协议扩展新增...阅读全文

博文 2019-01-18 09:43:16 debian.cn

Golang 操作 Kafka 样例

是在不同的机器,同一机 器对同一个分区也只可能放一个副本(包括自己)。 Consumer:消费者,即消息的消费方,是消息的出口。 Consumer Group:我们可以将多个消费组组成一个消费者组,在kafka的设计中同一个分 区的只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个 topic的不同分区的,这也是为了提高kafka的吞吐量! 2.1.2. ⼯作流程 我们看上⾯的架构图中,producer就是生产者,是的入口。Producer在写入的时候会把 写入到leader中,不会直接将写入follower!那leader怎么找呢?写入的流程又是什么样的呢?我 们看下图: 1.⽣产者从Kafka集群获分区leader信息 2.⽣产者将消息发...阅读全文

博文 2023-01-10 13:46:09 掘金

Linux Lite 宣布使用基于 Linux Kernel 4.14 的内核

系统菜单中的 Lite Tweaksv 工具,选择“Kernel Installer”功能来安装更新,同样在安装完成之后需要重启你的电脑。 Linux Kernel 4.14 LTS 的主要功能就是为 x86 硬件部署了更大的储限制,虚拟地址空间提升至 128PiB,物理硬件空间提升至 4PiB。此外还引入了全新的 ORC unwinder 来改进内核追踪和内核尺寸。 Linux Kernel 4.14 LTS 同时为 Btrfs 和 SquashFS 文件系统引入了 zstd 压缩,能够从用户储到 sockets 实现 zero-copy ,改进 SMP 的 cpufreq 协调,同步 non-blocking buffered 读,以及对 PCID 指令更快的 TBL 刷新。...阅读全文

Prometheus 常用 PromQL 语句样例

[4h], 3600)时间获 Unix 时间,以秒为单位: time()获最后一次成功运行的批处理作业的年龄: time() - my_batch_job_last_success_timestamp_seconds查找一小时内没有成功的批处理作业: time() - my_batch_job_last_success_timestamp_seconds > 3600缺失处理当输入向量为空时,创建一个一个输出序列: absent(my_metric_name)当输入的范围向量5分钟内都是空的时候,创建一个空的输出序列: absent_over_time(my_metric_name[5m])标签操作用 - 分隔符连接两个标签的值: label_join(my_metric_name...阅读全文

博文 2021-02-09 11:07:15 51CTO博客

Kafka 3.0新特性全面曝光,真香!

partition都是有序的,即消息发送到队列的顺序跟消费时拉到的顺序是一致的。replication:副本。一个topic对应的分区partition可以有多个副本,多个副本中只有一个为leader,其余的为follower。为了保证的高可用性,leader和follower会尽量均匀的分布在各个broker中,避免了leader所在的服务器宕机而导致topic不可用的问题。 (二)kafka2当中zk的作用/admin:主要保kafka当中的核心的重要信息,包括类似于已经删除的topic就会保在这个路径下面。/brokers:主要用于保kafka集群当中的broker信息,以及没被删除的topic信息。/cluster: 主要用于保kafka集群的唯一id信息,每个kafka集群都会给分配...阅读全文

博文 2022-04-28 16:02:11 mp.weixin.qq.com

理解 Linux 的虚拟内存

都是你的,随便用,管够。可事实上呢,操作系统只是给它们画了个大饼,这些内说是都给了 P1 和 P2,实际上只给了它们一个序号而已。只有当 P1 和 P2 真正开始使用这些内时,系统才开始使用辗转挪移,拼凑出各个块给进程用,P2 以为自己在用 A 内,实际上已经被系统悄悄重定向到真正的 B 去了,甚至,当 P1 和 P2 共用了 C 内,他们也不知道。 操作系统的这种欺骗进程的手段,就是虚拟内。对 P1 和 P2 等进程来说,它们都以为自己占用了整个内,而自己使用的物理内的哪段地址,它们并不知道也无需关心。 分页和页表 虚拟内是操作系统里的概念,对操作系统来说,虚拟内就是一张张的对照表,P1 获 A 内里的时应该去物理内的 A 地址找,而找 B 内里的应该去物...阅读全文

博文 2018-11-25 11:03:49 debian.cn

MySQL 8 第一个正式版发布:更好的性能

JSON 的支持,添加了基于路径查询参从 JSON 字段中抽的 JSON_EXTRACT() 函,以及用于将分别组合到 JSON 组和对象中的 JSON_ARRAYAGG() 和 JSON_OBJECTAGG() 聚合函。 9. 可靠性:InnoDB 现在支持表 DDL 的原子性,也就是 InnoDB 表上的 DDL 也可以实现事务完整性,要么失败回滚,要么成功提交,不至于出现 DDL 时部分成功的问题,此外还支持 crash-safe 特性,元储在单个事务字典中。 10. 高可用性(High Availability):InnoDB 集群为您的库提供集成的原生 HA 解决方案。 11. 安全性:对 OpenSSL 的改进、新的默认身份验证、SQL 角色、密码强度...阅读全文

博文 2018-04-20 10:40:18 debian.cn

Golang Context 探究

{ // 返回 context.Context的截止时间(也就是消时间) Deadline() (deadline time.Time, ok bool) // 返回一个 Channel,这个 Channel 会在当前操作完成或者上下文被消之后关闭,多次调用 Done 方法会返回同一个 Channel Done() <-chan struct{} // 返回 context.Context 结束的原因 Err() error // 从 context.Context 中获键对应的值, 该方法可以用来传递请求特定的 Value(key interface{}) interface{} } Context 实现 首先我们思考为什么Golang 中需要 Context。用我们最熟悉的例子 http...阅读全文

博文 2021-02-25 09:27:27 lxkaka

kubelet 中垃圾回收机制的设计与实现

已经停止的容器,默认为1;(maxPerPodContainerCount)--maximum-dead-containers:一个 node 上最多可以保留多少个已经停止的容器,默认为 -1,表示没有限制;--minimum-container-ttl-duration:已经退出的容器可以活的最小时间,默认为 0s;与镜像回收有关的主要有以下三个参:--image-gc-high-threshold:当 kubelet 磁盘达到多少时,kubelet 开始回收镜像,默认为 85% 开始回收,根目录以及盘;--image-gc-low-threshold:回收镜像时当磁盘使用率减少至多少时停止回收,默认为 80%;--minimum-image-ttl-duration:未使用的镜像...阅读全文

博文 2021-02-05 17:48:22 知乎

Apache Flink 1.14 新特性预览 - OSCHINA

作为社区 RoadMap 的重要组成部分,是大实时化必然的趋势。但是另一方面,传统离线的计算需求其实并不会被实时任务完全代,而是会长期在。 在实时和离线的需求同时在的状态下,以往的流批独立技术方案在着一些痛点,比如: 需要维护两套系统,相应的就需要两组开发人员,人力的投入成本很高; 另外,两套链路处理相似内容带来维护的风险性和冗余; 最重要的一点是,如果流批使用的不是同一套处理系统,引擎本身差异可能会口径不一致的问题,从而导致业务在一定的误差。这种误差对于大分析会有比较大的影响。 在这样的背景下,Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中,在流批一体方面做了很多的工作。可以认为 Flink...阅读全文

博文 2021-09-05 07:26:58 中文开源技术交流社区

Kafka生产问题总结以及性能优化

消费消息需要紧急处理,可以修改消费端程序,让其将收到的消息快速转发到其他topic(可以设置很多分区),然后再启动多个消费者同时消费新主题的不同分区。 2)由于消息格式变动或消费者程序有bug,导致消费者一直消费不成功,也可能导致broker积压大量未消费消息。 此种情况可以将这些消费不成功的消息转发到其它队列里去(类似死信队列,kafka没有死信队列,需要自己写),后面再慢慢分析死信队列里的消息处理问题。 2.1.5 延时队列 kafka没有延时队列,需要自己实现;延时队列储的对象是延时消息。所谓的“延时消息”是指消息被发送以后,并不想让消费者立刻获,而是等待特定的时间后,消费者才能获这个消息进行消费,延时队列的使用场景有很多, 比如 : 1)在订单系统中, 一个用户下单之后通常...阅读全文

博文 2023-01-05 23:16:48 CSDN博客

希捷HAMR硬盘即将商用:目标100TB

看着SSD气势汹汹,机械硬盘丝毫不敢懈怠,唯有不断推陈出新大容量产品,同时把容价比做到更低。说淘宝上出现了一批全新/充新HGST 8T企业盘,由不景气的乐视云内部流出,居然只要千元出头。 就目前而言,西、东芝均发布了14TB,前者使用SMR(叠瓦式磁记录),后者使用传统的PMR(垂直磁记录),9碟充氦。 而且,巨头均规划了16TB硬盘,预计明年推向市场。 近日,知名储服务商Backblaze刊文报道,希捷CTO(首席技术官)Mark Re介绍称,HAMR(热辅助磁记录)储技术硬盘已经越来越接近商用了。 今年10月的容量密度还是2Tbpsi(每平方英寸容量),Mark Re此次透露,目前已经达到5Tbpsi,是当下希捷最大的12TB硬盘(PMR)1.3Tbpsi的3.8倍,而HAMR...阅读全文

Java 12 / JDK 12 正式发布

CDS Archives 默认类共享归档文件344Abortable Mixed Collections for G1 可中止的 G1 Mixed GC346Promptly Return Unused Committed Memory from G1 G1 及时返回未使用的已分配内 下边分别来看看: Shenandoah: A Low-Pause-Time Garbage Collector (Experimental) Shenandoah:低暂停时间的 GC(实验性功能) 新增了一个名为 Shenandoah 的 GC 算法,通过与正在运行的 Java 线程同时进行 evacuation 工作来减少 GC 暂停时间。使用 Shenandoah 的暂停时间与堆大小无关,这意味着无论堆是...阅读全文

博文 2019-03-20 12:46:27 debian.cn

CCPA vs. GDPR:欧美这两部个人数据保护法有什么差异?

欧盟一般保护条例(GDPR)和加州消费者隐私法案(CCPA)是欧美两大经济体所出台的两部具有代表意义的个人保护方面的法规,代表欧美监管机关对于个人保护两种不同的管控向。 本文选了“个人或信息的类型与范围界定”、“法律的管辖范围”、“跨境传输管控”、“儿童的保护”、“主体的反对权和被遗忘权”等关键概念,对GDPR和CCPA的部分要点进行比较分析。 1. “个人”或“个人信息”的范围界定 1.1 GDPR对个人的定义——侧重用抽象概念定义,实践中在很大解释空间 除了对少“特殊种类个人”(如宗教信仰、种族、工会成员信息、健康状况等)进行了零星列举以外,《欧盟一般个人保护条例》(GDPR)主要用抽象概念对其所管辖的“个人”的范围进行界定。 根...阅读全文

海力士推新企业级SSD:72层闪存 16TB即将到来

SK海力士日前宣布推出新一代企业级SSD硬盘,不过官方并没有公布SSD硬盘的名称,只知道是NVMe标准的,基于72层堆栈的3D TLC闪,M.2版容量最大4TB,U.2容量可达8TB。 性能方面,SK海力士表示新一代企业级硬盘的连续速度可达3200MB/s,随机性能可达160K IOPS,与2018年FMS展会上推出的72层堆栈闪硬盘相比,新一代企业级SSD的顺序读写性能提升30%,随机写入提升了70%,同时支持读敏感型及混合型应用,包括中心、AI、ML机器学习及VDI虚拟桌面架构等。 值得一提的是,SK海力士的新一代企业级SSD具备极低的功耗,正常应用低于14W,这在企业级SSD中是很低的水平了。 此外,SK海力士还表示将在今年底推出容量更大的企业级SSD硬盘,闪会从目前的...阅读全文

博文 2019-06-20 20:27:53 debian.cn

通过Prometheus查询K8S集群Pod 的CPU、内存、网络指标

Kubernetes的kubelet组件内置了cadvisor,将Node上容器的指标以Prometheus支持的格式展示,可以通过这些指标计算得到更多有用的。 Kubelet的Cadvisor指标获 在Prometheus的配置文件中,配置了相关的Target之后,这些指标就可以从Prometheus中查询到。 - job_name: 'kubernetes-cadvisor' scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount...阅读全文

博文 2020-08-13 20:41:03 debian.cn

希捷预告120TB机械硬盘:全新介质、单碟容量达10TB

这些年,机械硬盘容量的提升速度十分缓慢,大有被SSD全面赶超的趋势,不过每个季度,希捷、西部都会更新路线图,展望机械硬盘在技术、容量上的发展趋势,尤其是希捷。近日,希捷更是公布了详细的未来技术路线图,计划在2026年左右达到50TB左右,2030年则可以超过120TB。机械硬盘最近几年普遍基于PMR(垂直储技术),但即便经过各种优化加强,也已经逼近极限,新的储技术、机械结构迫在眉睫。比如希捷研发近20年的HAMR(热辅助磁记录),终于已经开花落地,去年底交付了20TB HAMR硬盘,同时新的多传动器(Muti-Actuator)结构也已经基本成熟,二者结合可让机械硬盘的容量跨上新台阶,2026年达到50TB就靠它们了。类似未来的半导体工艺制程,要想实现更进一步的突破,全新的储介质...阅读全文

Apache Kafka发布 3.0 正式版

方法接受Instant类型的参。此更改将影响需要实现新方法的任何自定义只读交互式查询会话储实现。KIP-622:添加currentSystemTimeMs和currentStreamTimeMs到ProcessorContext该ProcessorContext增加在3.0两个新的方法,currentSystemTimeMs和currentStreamTimeMs。新方法使用户能够分别查询缓的系统时间和流时间,并且可以在生产和测试代码中以统一的方式使用它们。KIP-743:删除0.10.0-2.4Streams 内置指标版本配置的配置值3.0 中消了对 Streams 中内置指标的旧指标结构的支持。KIP-743正在0.10.0-2.4从配置属性中删除该值...阅读全文

博文 2021-09-26 14:13:03 joseph

使用 MongoDB 之前应该知道的 14 件事

MongoDB 是一个多租户系统,它会尽可能地占用内,因此最好是安装在服务器上,最大限度地提供内,即使是开发工作。在服务器上使用默认端口安装而不启用身份验证是在自找麻烦,尤其是可以在查询中运行任意 JavaScript 时(例如把$where 作为注入攻击的载体)。 身份验证方法有多种,但是用户 ID/密码凭证最容易安装和管理。当你考虑 基于 LDAP 的身份验证 时,可以采用那个方法。在我们谈论安全时,MongoDB 必须保持最新,而且,在日志里查找未授权访问的迹象总是值得的。我不喜欢使用默认端口。 忘记限制 MongoDB 的攻击面 MongoDB 的 安全检查清单 为降低网络渗透和泄露风险提供了很好的建议。我们很容易会认为,开发服务器不需要高等级的安全。不是这样的:安全对于所有...阅读全文

Git 介绍与使用详解

.SourceTree https://www.sourcetreeapp.com/ 2.2配置用户信息 $ git config --global user.name "shang" $ git config --global user.email [email protected] 2.3Git文件的三种状态 在 Git 内都只有三种状态:已修改(modified)、已暂(staged)和已提交(committed)。已修改表示修改了某个文件,但还没有提交保;已暂表示把已修改的文件放在下次提交时要保的清单中;已提交表示该文件已经被安全地保在本地库中了; 3.获 Git 仓库 有两种得 Git 项目仓库的方法。 第一种是在现有项目导入所有文件到 Git 中。 第二种是从一个服务器克隆一个现有...阅读全文

博文 2017-02-25 09:00:27 程序员

Kubernetes 1.7:安全加固、有状态应用更新等

今天我们公布了Kubernetes 1.7,这一里程碑版本引入了更为强大的安全性、储以及扩展性因素,旨在满足Kubernetes在广泛企业环境下所面临的实际需求。 这次发布的版本中安全方面的改进包括加密的Serect,Pod到Pod通讯的网络策略,限制kubelet访问的节点授权器(node authorizer),和客户端/服务端 TLS 证书轮换。 对于在Kubernetes上伸缩库的用户,这次版本有一个重要特性向StatefulSet添加了自动化的更新,并增强了对DaemonSet的更新。同时我们宣布对本地储和用于更快速伸缩StatefulSet的加速模式(burst mode)的alpha支持。 同时,对于高级用户,这次版本中的API聚合允许用户提供的API服务器和...阅读全文

博文 2021-01-28 17:50:35 debian.cn

如何使用 journalctl 清理 journal 日志

,此方法在 Storage=none 时无效。 此方法不能实时读日志消息, 但是可以读先前保的日志消息(例如在系统启动完成之后读系统启动早期的日志消息)。 此方法还可以读到完整的日志元。 此方法一般无法读当前最新的日志消息, 只能读已经被记录到文件系统上的日志消息。 注意,syslog 守护进程通常使用此方法(而不是前一种方法), 因此 Storage= 选项(而不是 ForwardToSyslog= 选项) 不应该设为"none"。...阅读全文

博文 2021-02-05 15:43:28 博客园

Web前端知识体系精简

。 Internet Explorer允许cookie多达4095个字节,包括:名(name)、值(value)和等号。 在所有浏览器中,任何cookie大小超过限制都被忽略,且永远不会被设置。 html5提供了两种在客户端的新方法:localStorage 和 sessionStorage, 它们都是以key/value 的形式来,前者是永久储,后者的储期限仅限于浏览器会话(session),即当浏览器窗口关闭后,sessionStorage中的被清除。 localStorage的储空间大约5M左右(不同浏览器可能不同,分 HOST),这个相当于一个5M大小的前端页面的库,相比于cookie可以节约带宽,但localStorage在浏览器隐私模式下是不可读的,当超过了...阅读全文

博文 2021-01-28 17:50:33 debian.cn