。 SSD则是外部存储，用来长久保存数据，属于非易失性存储，断电后数据还在，但是相对速度慢、延迟高，HDD机械硬盘、U盘、光盘等也是此类。 SSD的存储介质是NAND闪存颗粒，需要施加不同的电压、改变内部状态来存储数据，随着时间的流逝、读写次数的增加，会出现物理性的损耗，最终不可用。 NAND闪存的寿命一般用P/E编程擦写次数来描述，写满一次容量就损失一次P/E。 SLC大约是10万次，MLC只有5000次左右，TLC就只大概2000次，QLC仅为1000次上下，所以不得不依靠更多管理技术和算法来辅助，以保持寿命。 但另一方面，SLC、MLC、TLC、QLC的存储密度越来越大，SSD容量也越来越大，写满的概率越来越低，所以整个SSD的实际寿命其实并没有大大缩短，一般应用无需过分担忧寿命问题。...阅读全文
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
欧洲云计算巨头 OVH 位于法国斯特拉斯堡的机房昨日发生严重火灾，该区域总共有 4 个数据中心 (Strasbourg Data Center)，发生起火的 SBG2 数据中心被完全烧毁，另有一个数据中心 SBG1 的建筑物部分受损，SBG3 因受到消防保护暂未受影响，以及 SBG4 确认没有受到波及。不过出于安全起见，OVH 位于斯特拉斯堡的全部数据中心暂时关闭了服务。OVH 在全球拥有 27 个数据中心，其中 15 个位于欧洲。昨天这场灾难被认为已导致超过 350 万个网站下线，而这一切发生在 OVH 启动了首次公开募股 (IPO) 计划两天后。Rust 旗下的游戏工作室 Facepunch Studios 证实，他们的数据已在这场大火中全部丢失，即使数据中心重新上线后，也无法恢复...阅读全文
CERN 无需过多介绍了吧。CERN 创建了 万维网(World Wide Web)（WWW）和 大型强子对撞机(Large Hadron Collider)（LHC），这是世界上最大的 粒子加速器(particle accelerator)，就是通过它发现了 希格斯玻色子(Higgs boson)。负责该组织 IT 操作系统和基础架构的 Tim Bell 表示，他的团队的目标是“为全球 13000 名物理学家提供计算设施，以分析这些碰撞，了解宇宙的构成以及是如何运转的。”CERN 正在进行硬核科学研究，尤其是大型强子对撞机，它在运行时 生成大量数据。“CERN 目前存储大约 200 PB 的数据，当加速器运行时，每月有超过 10 PB 的数据产生。这必然会给计算基础架构带来极大的挑战，包...阅读全文
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考： Linux 内存机制 Mem：表示物理内存统计。 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。 Mem 行(第一行)数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未...阅读全文
PostgreSQL 13 已正式发布，新版本对索引和查找系统进行了重大改进，大型数据库因此受益甚多，包括节省了空间并提高了索引的性能，使用聚合或分区的查询的响应时间更快，使用增强的统计信息时更好的查询计划(query planning)等。 除了并行化清理(parallelized vacuuming)和增量排序(incremental sorting)等呼声较高的功能外，PostgreSQL 13 还为大大小小的工作负载提供了更好的数据管理体验，并对日常管理进行了优化，为应用开发者提供了更多便利，并增强了安全性。 性能提升 在先前 PostgreSQL 版本的基础上，PostgreSQL 13 可以有效地处理 B 树索引（PostgreSQL 的标准索引）中的重复数据，从而降低 B 树...阅读全文
MongoDB 创建数据库 - 格式：use DATABASE_NAME - use ruochen - db 创建数据库需要插入一条数据才会在列表中显示 - db.ruochen.insert({'name': '若尘'}) - show dbs 删除数据库 格式：db.dropDatabase() use ruochen db.dropDatabase() show dbs 创建集合 - 格式：db.createCollection(name, options) - name: 要创建的集合名称 - options: 可选参数，指定有关内存大小及索引的选项 字段 类型 描述 capped 布尔 （可选）如果为 true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它...阅读全文
本文作者从事数据库相关工作接近四十年，最近开始使用 MongoDB。在开始使用 MongoDB 之前，作者希望有些事情自己已经知道。根据一般经验，对于数据库是什么以及它们能干什么，人们会有先入为主的认识。为了给他人提供方便，本文列出了一些常见的错误。 本文要点 即使 MongoDB 没有强制要求，设计一个模式还是至关重要。 类似地，在设计模式及访问模式时设计好索引。 避免大对象，尤其是大数组。 谨慎对待 MongoDB 的设置，尤其是关乎安全和稳定性时。 MongoDB 没有查询优化器，因此，对于如何安排查询操作的顺序，你必须格外小心。 创建一个无需身份验证的 MongoDB 服务器 很遗憾，MongoDB 在安装时默认不启用身份验证。在只从本地访问的工作站上，这没什么不好。但是，由于...阅读全文
1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂，它需要设计者有深厚的计算机知识和专业知识，没有一种通用的设计可以适应所有业务场景。尽管如此，还是有一些比较通用的规则可以供你设计系统时参考，也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
GitHub的高级技术副总裁Jason Warner在2018的技术趋势中挑出了数据、工作流集成（workflow integration）以及开源工具，他认为这些是一个公司在2018年能够取得成功的关键。 Warner写道，数据将成为2018年全球增长的最重要因素： 现如今，所有的公司都是数据公司，不论他们是否意识到这个情况。在2018年，只要团队知道如何使用数据，数据就会成为他们最大的资产。 数据的重要性日益增长，也标志着云服务平台从分布式云计算平台转型成为数据处理的云平台，其中还包括数据分析和机器学习。这将重点反映到三个关键领域： Warner说，许多重要的系统目前都很脆弱，尽管它们的规模越来越大。为了应对在2018年变得更加频繁的攻击，将会有更多的财力和开发资源分配到改进安全性上...阅读全文
MySQL 8.0 系列的首个正式版 8.0.11 已发布，官方表示 MySQL 8 要比 MySQL 5.7 快 2 倍，还带来了大量的改进和更快的性能！ 需要注意的是从 MySQL 5.7 升级到 MySQL 8.0 仅支持通过使用 in-place 方式进行升级，并且不支持从 MySQL 8.0 降级到 MySQL 5.7（或从某个 MySQL 8.0 版本降级到任意一个更早的 MySQL 8.0 版本）。作为替代方案，在升级之前请对数据进行全量备份。 本文简要介绍 MySQL 8 中值得关注的新特性和改进。 1. 性能：MySQL 8.0 的速度要比 MySQL 5.7 快 2 倍。MySQL 8.0 在这些方面带来了更好的性能：读/写工作负载、IO 密集型工作负载、以及高竞争...阅读全文
固态硬盘近年来也是随着计算机的发展而得到了迅速的发展，目前已经隐隐有要取代机械硬盘的势头。但是关于固态硬盘相关的概念实在是繁琐，很多人选购固态硬盘时，看到商家宣传NVMe，PCIE 却不懂是什么意思，今天我们就来为大家详解这些概念。 首先我们要把 M2 跟 SATA 放一起说，我们常说的 M2 其实是 M.2，更多是指一种尺寸或者插槽，就是上图中右边的尺寸较小的直接插主板上的这种，而 SATA 通常是指上图左边那个尺寸较大的一大块那种。 还要提的是M.2插槽也是有两种的，一种是金手指有两个缺口的Socket 2跟金手指只有一个缺口的Socket 3，这两种可以走不同的通道，我们后面会说到。 接下来要搞懂的是 SATA 跟 PCIE，这两个东西是指串行接口或者就是数据走的通道，相信有人看到这...阅读全文
Zoom 视频通信公司日前公布了 Zoom 5.0 的详细信息，这是对其视频会议客户端的一次重大更新，以解决最近几周发现的许多安全和隐私问题。在即将发布的版本中，用户可以从增加的 AES 256 位 GCM 加密功能中受益，同时还可以选择通话路由。 Zoom 的首席运营官 Oded Gal 表示，Zoom 从整体上考虑用户的隐私和平台的安全性。从 Zoom 网络到 Zoom 功能集到用户体验，所有的一切都要经过严格的审查。在后端，AES 256 位 GCM 加密技术将提升用户数据在传输过程中的安全标准。在前端，Zoom 最兴奋的是会议菜单栏中的安全图标。这将会把所有安全功能，无论是现有的还是新的，都放在会议主持人的前面和中心位置，这将确保用户可以在会议中即时访问重要的安全控制功能...阅读全文
近日，一位安全研究员在博客上表示发现了本田公司的云端数据库未设密码，这可能导致 1.34 亿份文档，约 40GB 数据被泄漏，其中包括机器主机名、MAC 地址、内部 IP 及操作系统版本等。在收到该研究员的提醒后，本田方面已对漏洞进行修复。 本田 1.34 亿份文档，40GB 数据险遭泄漏 根据安全研究员 Justin Paine 的说法，自 2019 年 7 月 1 日起，他就发现了本田对外暴露的 ElasticSearch 数据库未设置任何密码，内部包含大约 1.34 亿份文档，这些文档可以转换为大约 40GB 数据，而这些数据的日期最早可以追溯至 2019 年 3 月左右。 最初，Justin Paine 以为这些数据来自本田的一家经销商，但他很快否定了这一想法，因为这些文档包含了本...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
获取数据时的延迟。此功能在大规模的应用程序上十分重要，因为数据离应用程序越近，程序就能更快获取到数据。 antirez 受 Ben Malec 演讲的启发，他想到可以将大部分需要频繁存和取的数据直接放在服务器的内存中，以便让 Redis 为客户端完成部分工作，并使客户端缓存更简单、更有效。这个就是 Client side caching（客户端缓存）的概念。 不过这个思路有一个需要解决的问题是，如何控制数据的有效时间？在程序允许的情况下，虽然可以直接设置数据的有效时间，让数据在一段时间后失效。但 antirez 表示，大多数的应用程序无法接受提供过时的数据的风险，因此必须找到更理想的方案来控制数据的失效时间。 所以 antirez 决定开发新的协议 RESP3，在协议中加入新特性来支持客户端...阅读全文
，TokyoTyrant及Schooner Membrain等。RethinkDB为各种应用压力下提供高性能和高可靠性 支持，主要应用在下面一些场景： 用来处理一些其它方案无法解决的服务负载（如：要求快速的服务启动，在数据量超出内存大小后还要有高的性能，处理各种不稳定的读写压力，处理大量数据等） 提供性能与数据稳定性之间的精细调控 大大提高你的缓存层和key-value存储的性能，在你现有的硬件条件下，能支持更高的应用负载。 使用费用 RethinkDB目前提供两个版本的支持，一个免费版的，一个商用版的。商用版本的价格是每年每台机器$1500。免费版提供目前所有功能，提供后续所有安全相关的升级。但是新功能的升级只保证在付费版本中保持更新，另外商用版本还提供技术支持。...阅读全文
换到 HTTPS HTTPS 可阻止第三方侦听或修改客户端和服务器之间通信的 中间人攻击 。理想情况下，应该在安装 WordPress 前激活 HTTPS，如果在安装后再添加，可能需要更新 WordPress 设置。 HTTPS 还可以提升网站的 Goggle PageRank。诸如 SiteGround 这类网站托管服务提供商会提供免费的 SSL 证书。 2. 限制 MySQL 连接地址 确保你的 MySQL 数据库拒绝来自外部的人员和系统连接到本地服务器的行为。大多数受管理的 Web 主机默认情况下都会执行此操作，但那些使用专用服务器的主机可以将下面的代码添加到 MySQL my.cnf 配置文件的 [mysqld] 部分： bind-address = 127.0.0.1 3. 使用强...阅读全文
、Hyperloglogs等。 Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力，并且支持副本集和通过Redis Sentinel实现的高可用方案，同时还支持通过Redis Cluster实现的数据自动分片能力。 Redis的主要功能都基于单线程模型实现，也就是说Redis使用一个线程来服务所有的客户端请求，同时Redis采用了非阻塞式IO，并精细地优化各种命令的算法时间复杂度，这些信息意味着： Redis是线程安全的（因为只有一个线程），其所有操作都是原子的，不会因并发产生数据异常 Redis的速度非常快（因为使用非阻塞式IO，且大部分命令的算法时间复杂度都是O(1)) 使用高耗时的Redis命令是很危险的，会占用唯一的一个线程的大量处理时间，导致所有的请求都被拖慢。（例如时间复杂度为O(N)的...阅读全文
对于 Python 开发者来说，web 开发框架真可谓玲琅满目。然而 Django , 毋庸置疑的成为最受青睐的 web 框架。通过本篇博客，我来为大家讲解下为什么相比 Flask、Pyramid、Tornado、Bottle、Diesel、Pecan、Falcon 这些流行的 Python web 框架，Python 开发者更倾向于选择 Django。 再大肆宣扬Django之前，让我们简单了解一下web框架 Web框架是一个代码库，使开发人员更容易构建动态网站、Web应用程序和Web服务。 众所周知的是，每个网站都有一些通用的功能（如处理会话，数据验证等等），一些您每次创建网站时都需要编写的功能。 这使开发任务平淡乏味。 然而，使用Web框架可以让您每次创建网站都需要重新编写通用功能代...阅读全文
Google 宣布了 新拥堵控制算法 TCP BBR。Google 官方博客称新算法将 google.com 和 YouTube 的全球网络吞吐量平均改进了 4%，在某些国家改进了 14%+。 Google 解释说，现有的 TCP 拥堵控制算法源自 1980 年代，是为低带宽数据传输设计的，解决拥堵主要考虑丢包，也就是在网络堵塞的时候路由器将会丢弃新的数据包。BBR 代表 Bottleneck Bandwidth and Round-trip propagation time，它的拥堵控制采用了不同的方法，考虑了网络实际的数据交付率有多快。根据最近测量的网络交付率和往返时间构建显示模型，最大化近期可用带宽和最小化近期往返延迟。BBR 使用这些数据决定数据发送速率有多快。 Google 已经...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
)、consumer(消息消费者)都可以是分布式的。 在消息的生产时可以使用一个标识topic来区分，且可以进行分区；每一个分区都是一个顺序的、不可变的消息队列， 并且可以持续的添加。 同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。 消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡 1.1.3. 常用的场景 监控：主机通过Kafka发送与系统和应用程序健康相关的指标，然后这些信息会被收集和处理从而创建监控仪表盘并发送警告。 消息队列： 应用程度使用Kafka作为传统的消息系统实现标准的队列和消息的发布—订阅，例如搜索和内容提要（Content Feed）。比起大多数的消息系统来说，Kafka...阅读全文
里是没有网桥存在，完全就是通过路由来实现，这个数据包也是先从veth设备对另一口发出，到达宿主机上的cali开头的虚拟网卡上，到达这一头也就到达了宿主机上的网络协议栈，另外就是当创建一个pod时帮你先起一个infra containers的容器，调用calico的二进制帮你去配置容器的网络，然后会根据路由表决定这个数据包到底发送到哪里去，可以从ip route看到路由表信息，这里显示是目的cni分配的子网络和目的宿主机的网络，当进行跨主机通信的时候之间转发到下一跳地址走宿主机的eth0网卡出去，也就是一个直接的静态路由，这个下一跳就跟host-gw的形式一样，和host-gw最大的区别是calico使用BGP路由交换，而host-gw是使用自己的路由交换，BGP这个方案比较成熟，在大型网络中...阅读全文
访问：百度网盘联合会员买1得5：QQ音乐、优酷视频…… 2020年，云计算实现了130亿美元的运营利润，从而帮助亚马逊在当年实现了210亿美元的净利润。怪不得亚马逊创始人贝索斯从首席执行官职位卸任之后，他把指挥公司的大权交给了云计算掌门人安迪·贾西。在全球云计算市场，阿里巴巴、Google、IBM、微软和甲骨文公司都在挑战亚马逊。而和阿里巴巴和Google不同的是，亚马逊云计算业务已经盈利。今年第二季度是贾西执掌亚马逊云计算的最后一个季度，该季度云计算实现了40亿美元的运营利润，同比增长了25%，超出了分析师预期，另外营业收入则增长了37%。七月份，云计算业务另外一位高管亚当·塞林普斯基（Adam Selipsky）接替了贾西的职务，此人曾经在亚马逊云计算工作11年，后来创业，并且把数据软...阅读全文
每次项目进度都很紧张、项目发版时间总是一延再延、每个版本bug数量堆积成山、测试期间各种bug总是层出不穷、临近上线发现严重bug，如果项目经理总是被这些问题围绕，那么项目总结迫在眉睫。项目经理如何进行项目总结才能让项目顺利进行，让领导一看就喜欢，今天把经验分享给大家，帮助你做好项目总结。总结的思维模式想写好一份项目总结，总结人员必须具备一定的结构化思维，对问题、数据进行结构分析，且能够通过结构化思维表达出来。结构化思维具备以下四个特点。结论：问题比较多的时候，要进行抽象归纳，做到抓大放小，先解决当前最主要的问题。总结的目的✤对项目进行复盘，发现项目中存在的问题，针对问题找到根本原因并提出解决方案；✤提高项目质量，让项目“健康”前行;✤通过数据衡量当前版本的质量，对项目整体情况进行评估...阅读全文
的数据平面和先进的控制平面，极大地降低了各团队使用的难度。Kuma 可以在 Kubernetes、虚拟机、容器、裸机和传统环境等任意平台上运行，以落实整个组织中的云原生体验。 得益于成熟的控制平面，Kuma 开箱即用地使得下层网络安全、可靠和可观测，而无需更改代码。Kuma 高效的数据平面和先进的控制平面，允许用户通过少量的 Kubernetes 原生 CRD 或者 RESTful API 请求来方便地设置权限，暴露监控数据和设置路由规则。 Kuma 的主要功能包括： 软件定义安全（Software Defined Security）：Kuma 支持所有第四层流量的双向 TLS（mutual TLS）。用户可以通过简单的权限设置来实现访问控制。强大的生产力功能 ：Kuma 使得用户能快速实现...阅读全文
知道他们可以通过勒索软件赚钱，并且在索要赎金方面变得越发大胆。常见的勒索软件攻击包括勒索软件运营商对数据进行加密，并强迫受害者支付赎金以解锁数据。在双重勒索中，勒索软件运营商会加密并窃取数据，进一步胁迫受害者支付赎金。如果不支付，勒索软件运营商就会将数据公布到泄漏网站或暗网，大部分数据泄漏网站都托管在暗网，而这些托管站点由勒索软件运营商创建和管理。在新冠疫情下，医疗行业成今年勒索软件最大目标。不法之徒得知医疗机构需要继续营运以治疗新冠患者，无法承担系统被锁定的后果，继而通过勒索软件进行攻击。勒索软件Ryuk在众多勒索软件中尤其猖獗。利用这种手段最多的勒索软件是NetWalker。从2020年1月到2021年1月，NetWalker泄漏了全球113家受害企业的数据（见下图），远远超过了其他勒索...阅读全文
" MYSQL_SERVICE_PASSWORD: "123456" 参数说明： MYSQL_SERVICE_HOST：数据库地址（这里使用上面部署的 Mysql，由于部署在 K8S 里面，所以使用 Mysql Service 提供的 K8S 内部地址） MYSQL_SERVICE_PORT: 数据库端口。 MYSQL_SERVICE_DB_NAME: 指定使用的库名称。 MYSQL_SERVICE_USER: 数据库用户名。 MYSQL_SERVICE_PASSWORD: 数据库密码。 NACOS_APPLICATION_PORT：指定 Nacos 端口号。 PREFER_HOST_MODE：配置 Nacos 集群节点间服务发现使用的模式，支持 hostname、ip 两种模式。 JVM_XMS: 设置 JVM 最大堆内存大小...阅读全文
欧盟一般数据保护条例（GDPR）和加州消费者隐私法案（CCPA）是欧美两大经济体所出台的两部具有代表意义的个人数据保护方面的法规，代表欧美监管机关对于个人数据保护两种不同的管控取向。 本文选取了“个人数据或信息的类型与范围界定”、“法律的管辖范围”、“数据跨境传输管控”、“儿童数据的保护”、“数据主体的反对权和被遗忘权”等关键概念，对GDPR和CCPA的部分要点进行比较分析。 1. “个人数据”或“个人信息”的范围界定 1.1 GDPR对个人数据的定义——侧重用抽象概念定义，实践中存在很大解释空间 除了对少数“特殊种类个人数据”（如宗教信仰、种族、工会成员信息、健康状况等）进行了零星列举以外，《欧盟一般个人数据保护条例》（GDPR）主要用抽象概念对其所管辖的“个人数据”的范围进行界定。 根...阅读全文
当 Torvalds 将某些代码标记为“dontuse”，通常表明这个问题比较大。在 5.12 首个候选版本更新中，破坏了交换文件（swapfile）的处理。具体来说，更新后的代码会失去指向 swapfile 开头的正确偏移。用 Torvalds 自己的话来说，“交换还是会发生，但它发生在文件系统的错误部分，最终结果显然是灾难性的”。这样 Linux 内核如果想要将内存中的内容分页到磁盘上的时候，数据就会落在相同磁盘和 swapfile 活跃的分区的随机部分上，而且这不是作为文件，而是作为垃圾直接写入到磁盘的原始扇区。这意味着不仅要覆盖现有文件中的数据，还要覆盖相当大块的元数据，这些元数据的损坏很可能会导致整个文件系统无法挂载和使用。Torvalds 继续指出，如果你根本不使用 swap...阅读全文
FD_ISSET方法来轮询文件描述符，如果数据可读，则读取数据即可。 举个例子，假设此时连接上来了3个客户端，connection的文件描述符分别为 4,8,12，那么其read_fds文件描述符表（bitmap结构）的大致结构为 00010001000100000…0，由于read_fds文件描述符的长度为1024位，所以最多允许1024个连接。 而在select的时候，涉及到用户态和内核态的转换，所以整体转换方式如下： 所以，综合起来，select整体还是比较高效和稳定的，但是呈现出来的问题也不少，这些问题进一步限制了其性能发挥： 文件描述符表为bitmap结构，且有长度为1024的限制。 fdset无法做到重用，每次循环必须重新创建。 频繁的用户态和内核态拷贝，性能开销较大。 需要对文件描述符表进行...阅读全文
：请求持续时间，响应大小。可以对观察结果采样，分组及统计。例如设置一个name为web_request_duration_seconds的Histogram 的metrics,并设置区间值为[0.1,0.5,1]会对区间点生成一条统计数据. # 响应时间小于0.1s的请求有5次 web_request_duration_seconds_bucket{endpoint="/query",method="GET",le="0.1"} 3 # 响应时间小于0.5s的请求有次 web_request_duration_seconds_bucket{endpoint="/query",method="GET",le="0.5"} 5 # 响应时间小于1s的请求有7次...阅读全文
Vultr是一家性价比非常高的VPS提供商，多达15个数据库中心可以选择，并且全部使用SSD硬盘、KVM架构。网上有很多与DigitalOcean、Linode对比的文章，这篇文章主要是分享一下Vultr日本节点的使用感受。 之前看到很多文章对洛杉矶和日本节点进行了测试，不过最近从个人测试来看，电信到Vultr洛杉矶节点目前已经绕路一大圈，丢包也是惨不忍睹，估计是电信又在调整的原因，不知后期是否能恢复正常。 Vultr日本节点以前是限制200G流量，不过现在流量已经增加至400G/月，如果只是安心放网站是完全足够的，最便宜的配置只需要5$/月，1CPU、768MB内存、15GB存储、1000M共享带宽，性价比是非常不错的。 性价比虽不错,那对国内环境来说网络情况又如何，下面是不同运营商的...阅读全文
Cloudflare宣布Auto RAG(全托管检索增强生成服务)于2025年4月7日开放测试，该服务旨在简化情境感知AI系统在应用中的集成流程。 Auto RAG利用自有数据源与大语言模型实时结合，提高AI响应准确性，解决传统LLM知识时效性不足的问题。开发者此前需手动串联数据存储、向量数据库、嵌入模型等组件并处理索引更新，现由AutoRAG端到端托管。 > AutoRAG的核心功能为自动数据摄取、分块嵌入、向量存储于Cloudflare Vectorize数据库，以及基于语义检索生成智能响应。其流程包括： > > 索引构建：从支持Cloudflare R2的数据源读取文件，转换为Markdown格式（含图像视觉-语言转换）、分块并生成嵌入向量； > > 查询处理...阅读全文
Solo 是一款 一个命令 就能搭建好的 Java 开源博客系统，如果你想开个独立博客，请一定不要错过！2.5.0 版本主要支持了 Markdown/JSON 格式数据导出，并改进了 Markdown 渲染。 另外，我们 新的博客产品 Pipe（golang 开发）已经开源 ，欢迎大家来围观！ 安装 下载 安装包 解压后执行 java -cp WEB-INF/lib/*;WEB-INF/classes org.b3log.solo.Starter 从 2.4.0 升级只需将已有的配置拷贝覆盖即可，启动后会自动升级。 文档 用户指南 ：安装、配置、备份以及常见问题 开发指南 ：开发环境、项目结构、框架说明 皮肤开发 ：开发步骤、模版变量 插件开发 ：插件机制、处理流程 项目...阅读全文
。其结果应该是，那些比较传统的公司的开发人员可以获得与其他公司使用云原生方法的开发人员一样的好处。希望这些实施方案能够帮助开发人员提高生产力，并且他们乐意留在这些公司，而不是转到其他岗位。 基于云的机器数据分析公司 Sumo Logic 的首席产品经理兼开源大使 Frank Reno 认为，开发人员是开源快速增长的因素之一。开发人员都希望在一个社区中与他人一起工作，与更大的团队合作，为更大的项目做出贡献。“特别是在 COVID-19 期间，我们不像以前那样紧密。因此，我们所能做的任何事情都是为了培养更好的体验，无论是对个人开发者还是一群开发者，都有很大的帮助。每个供应商和每个客户都应该认识到开发人员的重要性。” 为了达到这一目的，DataStax 战略副总裁 Bryan Kirschner 则...阅读全文
都要用G1垃圾收集器，因为年轻代内存比较大，用G1可以设置GC最大停顿时间，不至于一次minor gc就花费太长时间，当然，因为像kafka，rocketmq，es这些中间件，写数据到磁盘会用到操作系统的page cache，所以JVM内存不宜分配过大，需要给操作系统的缓存留出几个G。 2.1 线上问题及优化 2.1.1 消息丢失情况 消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发...阅读全文
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。KRaft 使用了Raft共识算法的一种基于事件的变体，因此得名。随 KRaft...阅读全文
HSTS 是一个被当前大多数 Web 浏览器所支持的 Web 安全策略，它可以帮助 Web 管理员保护他们的服务器和用户避免遭到 HTTPS 降级、中间人攻击和 Cookie 劫持等 HTTPS 攻击的危害。由于服务器管理员没能正确设置 HTTP Strict Transport Security （HSTS），现今大量的 HTTPS 流量都能被轻松劫持。 95% 的 HTTPS 连接处于风险中 据最近的 Netcraft study 报告数据显示，当前多达 95% 的服务器所运行的 HTTPS 没有正确地设置 HSTS 或其它配置，以至于将 HTTPS 连接暴露于上述攻击风险之中。 更值得注意的是，Netcraft 在三年前进行的同样扫描，不正确配置的 HSTS 比例仍同现在一样。这表明...阅读全文
和强大性，更重要的是它的框架(MSF)。它允许使用者开发自己的漏洞脚本，从而进行测试。 之所以称为框架，因为 MSF 本身包含了很多漏洞攻击模块，由一群开发者在进行维护和更新，更重要的是几乎每个 CVE 漏洞都会被添加到 MSF 里，有人称之为是“可以黑掉整个宇宙”的渗透测试框架。 这个强大的框架日前已发布最新的 5.0 版本。这是 Metasploit 团队在过去一年中的工作成果。此外，该版本还是自2011年以来 Metasploit 的第一个主要版本。Metasploit 5.0 带来了许多新功能，以及新的发布周期。 其中官方特别提到 Metasploit 5.0 使用了新的数据库，并提供了一种新的数据服务。新版本引入了新的规避机制(evasion capabilities)，支持多项语...阅读全文
Ceph 是一个可扩展的分布式存储系统，性能卓越，安全可靠。 Ceph 12.2.0 正式版已发布。这是Luminous v12.2.x长期稳定版本的第一个版本。在Kraken（v11.2.z）和 Jewel（v10.2.z）后我们做了很多重大修改，而且升级过程并不简单哦。请仔细阅读版本说明。 在 Kraken（v11.2.z）版本上进行的重要修改 通用 Ceph现在有一个内置的简易DarshBoard，用于监控集群状态。 RADOS Bluestore ceph-osd的新后端存储BlueStore已经稳定，是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件系统，来管理每个OSD存储的数据，这提供了更大的性能和功能...阅读全文
在三星宣布量产 QLC SATA SSD 之后，英特尔这边也宣布了自家的最新竞品 —— 价格媲美 SATA 型号、但支持 NVMe 协议的 660p 系列 SSD 。据 Anandtech 所述， 英特尔 660p 采用了自家的 64 层 1-Tb 3D QLC NAND 闪存，容量有 512GB / 1TB / 2TB 三档，但性能表现颇为一致。此外，660p 还搭配了大容量伪 SLC 缓存机制、辅以 256MB DRAM 。 英特尔 660p 系列 SSD 采用了 M.2 2280 封装规格 据悉，512GB 版本可选择调用 6~76GB 的容量当做缓存，1TB 版本可动用 12~140GB，2TB 版本则是 24~280GB 。当然，随着数据的大量写入，SLC 缓存机制的效用会明显下...阅读全文
性的，这很关键。 logpipe 概念朴实、使用方便、配置简练，没有如 sink 等一大堆新名词。 logpipe 由若干个 input、事件总线和若干个 output 组成。启动 logpipe 管理进程 (monitor)，派生一个工作进程 (worker)，监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个 input 插件和若干个 output 插件，进入事件循环，任一 input 插件产生消息后输出给所有 output 插件。 logpipe 自带了几个插件，分别是： logpipe-input-file 用 inotify 异步实时监控日志目录，一旦有文件新建或文件增长事件发生（注意：不是周期性轮询文件修改时间和大小），立即捕获文件名和读取文件追加数据。该插件拥有文件大小...阅读全文
知名市场研究公司IDC周四发布报告称，2018年，亚马逊公司在技术上的投入超过136亿美元，成为全球IT支出最高的公司。IDC追踪了4800家公司，他们在去年的总IT支出预计达到1.1万亿美元，前十大公司占据了总支出的7%。谷歌母公司Alphabet、沃尔玛公司分别排在第二、第三位，他们去年在软件、硬件、服务、电信设备以及员工上的支出分别接近120亿美元。 IDC客户洞察和分析研究经理大卫·拉特斯曼(David Lantsman)表示，亚马逊和谷歌向寻求降低自主IT预算的其他公司销售云服务、服务器和其他数据中心基础设施占据了他们的大部分支出。 2018年前十大IT支出公司 沃尔玛是前十大IT支出公司中的唯一一家零售商，去年的IT支出预计为117亿美元。沃尔玛执行副总裁兼首席技术官杰里米·金...阅读全文
