" //go:embed hello.txt var s string func main() { print(s) } 我们首先在对应的目录下创建了 hello.txt 文件，并且写入文本内容 “吃煎鱼”。 在代码中编写了最为核心的 //go:embed hello.txt 注解。注解的格式很简单，就是 go:embed 指令声明，外加读取的内容的地址，可支持相对和绝对路径。 输出结果： 吃煎鱼 读取到静态文件中的内容后自动赋值给了变量 s，并且在主函数中成功输出。 而针对其他的基础类型，Go embed 也是支持的： //go:embed hello.txt var s string //go:embed hello.txt var b []byte //go:embed hello.txt var f...阅读全文
，跑至内存不再增加，果然valgrind显示没有任何内存泄露。反复试验了很多次，结果都是这样。 在多次使用valgrind无果以后，我开始怀疑程序内部是不是用到mmap之类的调用,于是使用strace对mmap,brk等系统函数的检测： strace -f -e"brk,mmap,munmap" -p $(pidof AuthServer) 其结果如下： [pid 19343] mmap(NULL, 134217728, PROT_NONE, MAP_PRIVATE|MAP_ANONYMOUS|MAP_NORESERVE, -1, 0) = 0x7f53c8ca9000 [pid 19343] munmap(0x7f53c8ca9000, 53833728) = 0 [pid 19343...阅读全文
线程启动和执行的流程如下：主程序 Master process 启动后，通过一个 for 循环来接收和处理外部信号；主进程通过 fork() 函数产生子进程，每个子进程执行一个 for 循环来实现 Nginx 服务器对事件的接收和处理。 一般推荐 worker 进程数与 cpu 内核数一致，这样一来不存在大量的子进程生成和管理任务，避免了进程之间竞争 CPU 资源和进程切换的开销。而且 Nginx 为了更好的利用多核特性，提供了 cpu 亲缘性的绑定选项，我们可以将某一个进程绑定在某一个核上，这样就不会因为进程的切换带来 cache 的失效。 对于每个请求，有且只有一个工作进程对其处理。首先，每个 worker 进程都是从 master 进程 fork 过来，在 master 进程里面，先建...阅读全文
available (because the // surrounding function has not yet been extended to accept a Context // parameter). Background和TODO只是用于不同场景下： Background通常被用于主函数、初始化以及测试中，作为一个顶层的context，也就是说一般我们创建的context都是基于Background；而TODO是在不确定使用什么context的时候才会使用。下面将介绍两种不同功能的基础context类型：valueCtx和cancelCtx。valueCtxvalueCtx结构体type valueCtx struct { Context key, val interface...阅读全文
influxdb中数据库名 use iot_cloud #修改保留策略为周期为3天，每2小时一分片 alter retention policy rp_iot_cloud on iot_cloud duration 3d REPLICATION 1 SHARD DURATION 2h default调整为2小时一分片之后，SHR内存峰值会减少10-15g左右的占用。但是缩短分片间隔之后，influxdb会更频繁的进行内部自检及数据压缩，会造成cpu及磁盘io的消耗。所以继续考虑SHR占用较大对系统会有什么影响？应用程序在启动之后，会共享系统一些内存:堆内存(共享函数库消耗的堆空间)文件缓存(从磁盘读取文件进行缓存)对于共享堆内存则是必须占用的物理空间，而文件缓存则是系统针对磁盘读取的优化。目前...阅读全文
由于人工智能 / 机器学习日益集成到应用和业务流程中，因此生产级机器学习模型需要更多可扩展的基础设施和计算能力，以用于训练和部署。 现代机器学习算法在大量数据上进行训练，并且需要数十亿次迭代才能使成本函数最小化。这类模型的垂直扩展会遇到操作系统级别的瓶颈，包括可提供的 CPU、GPU 和存储的数量，而且对于这种类型的模型，已经证明效率并不高。更为高效的并行处理算法，例如异步训练和 allreduce 式训练，需要一个分布式集群系统，由不同的 worker （工作器）以协调的方式同时学习。 可扩展性对于在生产环境中服务深度学习模型也非常重要。将单个 API 请求处理到模型预测端点可能会触发复杂的处理逻辑，这将花费大量时间。由于更多用户访问模型的端点，为了有效地处理客户端请求，需要更多服务实例...阅读全文
SerDe 构造函数来配置他们的窗口化 SerDe，然后在拓扑中使用它的任何地方提供 SerDe。KIP-633：弃用 Streams 中宽限期的 24 小时默认值在 Kafka Streams 中，允许窗口操作根据称为宽限期的配置属性处理窗口外的记录。以前，这个配置是可选的，很容易错过，导致默认为24小时。这是Suppression运营商用户经常感到困惑的原因，因为它会缓冲记录直到宽限期结束，因此会增加 24 小时的延迟。在 3.0 中，Windows类通过工厂方法得到增强，这些工厂方法要求它们使用自定义宽限期或根本没有宽限期来构造。已弃用默认宽限期为 24 小时的旧工厂方法，以及与grace()已设置此配置的新工厂方法不兼容的相应API。KIP-623：internal-topics为流应用程序...阅读全文
火焰图来看。如果代码没有问题，那么可能执行代码的环境是有问题的，这时可以查看系统的 CPU/Memory 等资源是否有问题来做进一步排查。下面举个 SQL 慢查询的例子（如下图）。在这个例子中网关调用 product 服务，product 服务依赖了 MySQL 服务，逐步查看链路上的黄金指标，最终发现 product 执行了一条特别复杂的 SQL，关联了多张表，导致 MySQL 服务响应慢。MySQL 协议基于 TCP 之上的，我们的 eBPF 探针识别到 MySQL 协议后，组装、还原了 MySQL 协议内容，任何语言执行的 SQL 语句都能采集到。第二个例子是应用本身慢的例子，这时候自然会问具体哪一步、哪个函数造成了慢，ARMS 应用监控支持的火焰图通过对 CPU 耗时定期采样（如...阅读全文
，然后吃的喝的用的穿的都一样，你自然很难分辨。其中最重要的就是一定要注意中间的相同输入过程，各个不同节点要以相同且确定性的函数来处理输入，而不要引入一个不确定的值。使用replicated log来实现每个节点都顺序的写入客户端请求，然后顺序的处理客户端请求，最终就一定能够达到最终一致性。状态机安全性保证：在安全性方面，KRaft与传统Raft的选举安全性、领导者只追加、日志匹配和领导者完全性保证都是几乎相同的。下面只简单看看状态机安全性是如何保证的，仍然举论文中的极端例子：在时刻a，节点S1是Leader，epoch=2的日志只复制给了S2就崩溃了。在时刻b，S5被选举为Leader，epoch=3的日志还没来得及复制，也崩溃了。在时刻c，S1又被选举为Leader，继续复制日志，将...阅读全文
记录的更改）。在我们的例子中，控制器通过一个 Informer 注册一个创建事件的特定回调函数（更多信息参加下文）。 当 Deployment 第一次对外可见时，该 Controller 就会将该资源对象添加到内部工作队列，然后开始处理这个资源对象： 通过使用标签选择器查询 kube-apiserver 来检查该 Deployment 是否有与其关联的 ReplicaSet 或 Pod 记录。 有趣的是，这个同步过程是状态不可知的，它核对新记录与核对已经存在的记录采用的是相同的方式。 在意识到没有与其关联的 ReplicaSet 或 Pod 记录后，Deployment Controller 就会开始执行弹性伸缩流程： 创建 ReplicaSet 资源，为其分配一个标签选择器并将其版本号设置...阅读全文
移到了 Pivotal Software。随着 VMware 于 2019 年底收购 Pivotal，它也重新回到了 VMware。 PCF 是用于部署、管理和持续交付应用程序、容器和函数的多云平台。PCF 允许开发人员快速部署和交付软件，而无需管理底层基础架构。 Heroku Heroku 是一种支持多种编程语言的云 PaaS。Heroku 是最早的云平台之一，自 2007 年 6 月就开始开发了；当时它仅支持 Ruby 编程语言，但现在支持 Java、Node.js、Scala、Clojure、Python、PHP 和 Go。 Heroku 是基于容器的云 PaaS。开发人员使用 Heroku 来部署、管理和扩展现代应用程序。这一平台优雅、灵活且易于使用，为开发人员提供了将自己的应用推向...阅读全文
Apache 软件基金会宣布 Apache Superset 成为顶级项目 (Top-Level Project, TLP)。 Apache Superset 是一款现代化的开源数据工具，用于数据探索和数据可视化。它提供了简单易用的无代码可视化构建器和声称是最先进的 SQL 编辑器，用户可以使用这些工具快速地构建数据仪表盘。 Apache Superset 将 SQL IDE、数据浏览工具、拖拽式仪表板编辑器和插件组合使用，以构建自定义的可视化效果，支持从许多关系数据库和非关系数据库中创建仪表板，这些数据库包括 SQLite、MySQL，以及 ClickHouse、Google BigQuery、Snowflake、Oracle 数据库、IBM DB2 和其他各种兼容的数据源，并且可以连接...阅读全文
MongoDB 创建数据库 - 格式：use DATABASE_NAME - use ruochen - db 创建数据库需要插入一条数据才会在列表中显示 - db.ruochen.insert({'name': '若尘'}) - show dbs 删除数据库 格式：db.dropDatabase() use ruochen db.dropDatabase() show dbs 创建集合 - 格式：db.createCollection(name, options) - name: 要创建的集合名称 - options: 可选参数，指定有关内存大小及索引的选项 字段 类型 描述 capped 布尔 （可选）如果为 true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它...阅读全文
Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂，它需要设计者有深厚的计算机知识和专业知识，没有一种通用的设计可以适应所有业务场景。尽管如此，还是有一些比较通用的规则可以供你设计系统时参考，也能帮助你在面试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文
欧盟一般数据保护条例（GDPR）和加州消费者隐私法案（CCPA）是欧美两大经济体所出台的两部具有代表意义的个人数据保护方面的法规，代表欧美监管机关对于个人数据保护两种不同的管控取向。 本文选取了“个人数据或信息的类型与范围界定”、“法律的管辖范围”、“数据跨境传输管控”、“儿童数据的保护”、“数据主体的反对权和被遗忘权”等关键概念，对GDPR和CCPA的部分要点进行比较分析。 1. “个人数据”或“个人信息”的范围界定 1.1 GDPR对个人数据的定义——侧重用抽象概念定义，实践中存在很大解释空间 除了对少数“特殊种类个人数据”（如宗教信仰、种族、工会成员信息、健康状况等）进行了零星列举以外，《欧盟一般个人数据保护条例》（GDPR）主要用抽象概念对其所管辖的“个人数据”的范围进行界定。 根...阅读全文
近日，一位安全研究员在博客上表示发现了本田公司的云端数据库未设密码，这可能导致 1.34 亿份文档，约 40GB 数据被泄漏，其中包括机器主机名、MAC 地址、内部 IP 及操作系统版本等。在收到该研究员的提醒后，本田方面已对漏洞进行修复。 本田 1.34 亿份文档，40GB 数据险遭泄漏 根据安全研究员 Justin Paine 的说法，自 2019 年 7 月 1 日起，他就发现了本田对外暴露的 ElasticSearch 数据库未设置任何密码，内部包含大约 1.34 亿份文档，这些文档可以转换为大约 40GB 数据，而这些数据的日期最早可以追溯至 2019 年 3 月左右。 最初，Justin Paine 以为这些数据来自本田的一家经销商，但他很快否定了这一想法，因为这些文档包含了本...阅读全文
已知问题规模为n的前提A，求解一个未知解B。（我们用An表示“问题规模为n的已知条件”） 此时，如果把问题规模降到0，即已知A0，可以得到A0->B. 如果从A0添加一个元素，得到A1的变化过程。即A0->A1; 进而有A1->A2; A2->A3; …… ; Ai->Ai+1. 这就是严格的归纳推理，也就是我们经常使用的数学归纳法；对于Ai+1，只需要它的上一个状态Ai即可完成整个推理过程（而不需要更前序的状态）。我们将这一模型称为马尔科夫模型。对应的推理过程叫做“贪心法”。 然而，Ai与Ai+1往往不是互为充要条件，随着i的增加，有价值的前提信息越来越少，我们无法仅仅通过上一个状态得到下一个状态，因此可以采用如下方案： {A1->A2}; {A1, A2->A3}; {A1,A2,A3...阅读全文
4月1日，腾讯公司发布了一段短片，跟大家开了个愚人节玩笑。腾讯宣布，筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设，预计于年内投产运行。由于企鹅所需饲养条件较高，目前腾讯将先以贵州平坝灰鹅作为试点，未来或考虑引入天鹅和企鹅。据说还有鹅脸识别、鹅语翻译、觅影治鹅、鹅屎咖啡等技术。 今天腾讯宣布，养鹅是不存在的，但贵州贵安新区的那个山洞却是真正存在的。它叫腾讯贵安七星数据中心，是一个特高等级数据中心。 2017年10月，腾讯贵安七星数据中心工程正式进入项目建设施工阶段，项目主体为五横一竖共六个隧道。工程建成后,整个数据中心的工作、电力等设备将全部置于其中。 腾讯表示，它具有高度安全，高隐蔽、高防护的特点，将用来放置腾讯业务最核心的数据，代表着腾讯在数据产业的前瞻战略。 数据中心是...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
!版权声明：本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 目录[-] 参考地址： Nacos 官方文档 系统环境： Nacos 版本：1.4.1 Mysql 版本：8.0.19 Kubernetes 版本：1.20.1 项目示例地址： Kubernetes 中部署 Nacos 的部署文件 Kubernetes 中部署 Mysql 数据库部署文件 如果该文章对你有帮助，别忘了 Github 帮忙点颗星哦~ 一、什么是 Nacos Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。 Nacos 支持如下核心特...阅读全文
欧洲云计算巨头 OVH 位于法国斯特拉斯堡的机房昨日发生严重火灾，该区域总共有 4 个数据中心 (Strasbourg Data Center)，发生起火的 SBG2 数据中心被完全烧毁，另有一个数据中心 SBG1 的建筑物部分受损，SBG3 因受到消防保护暂未受影响，以及 SBG4 确认没有受到波及。不过出于安全起见，OVH 位于斯特拉斯堡的全部数据中心暂时关闭了服务。OVH 在全球拥有 27 个数据中心，其中 15 个位于欧洲。昨天这场灾难被认为已导致超过 350 万个网站下线，而这一切发生在 OVH 启动了首次公开募股 (IPO) 计划两天后。Rust 旗下的游戏工作室 Facepunch Studios 证实，他们的数据已在这场大火中全部丢失，即使数据中心重新上线后，也无法恢复...阅读全文
基本概念 Prometheus 所有采集的监控数据均以指标（metric）的形式保存在内置的时间序列数据库当中（TSDB）：属于同一指标名称，同一标签集合的、有时间戳标记的数据流。除了存储的时间序列，Prometheus 还可以根据查询请求产生临时的、衍生的时间序列作为返回结果。 样本在时间序列中的每一个点称为一个样本（sample），样本由以下三部分组成： 指标（metric）：指标名称和描述当前样本特征的 labelsets； 时间戳（timestamp）：一个精确到毫秒的时间戳； 样本值（value）： 一个 folat64 的浮点型数据表示当前样本的值。
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统 支持高Throughput的应用 scale out：无需停机即可扩展机器 持久化：通过将数据持久化到硬盘以及replication防止数据丢失 支持online和offline的场景 复制代码 1.1.2. Kafka的特点 Kafka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产...阅读全文
TimescaleDB 1.0 正式发布了，开发团队表示，自 9 月分宣布第一个候选版本以来，Timescale 的工程师团队合并了 50 多个 PR，以加强数据库，提高稳定性和易用性。 今天，TimescaleDB 1.0 宣布正式推出，官方表示该版本已可用于生产环境，是首个支持完整 SQL 和扩展的企业级时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库，以插件化的形式打包提供，随着 PostgreSQL 的版本升级而升级，不会因为另立分支带来麻烦。 TimescaleDB 架构 数据自动按时间和空间分片 (chunk) 更新亮点： 更广泛的可用性改进 后台作业自动化和调度的基础 增强了数据库强化和测试 构建开源监控堆栈：对 Grafana 和...阅读全文
1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。是 Hadoop 的核心组件之一， Hadoop 非常适于存储大型数据 (比如 TB 和 PB)，其就是使用 HDFS 作为存...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
每次项目进度都很紧张、项目发版时间总是一延再延、每个版本bug数量堆积成山、测试期间各种bug总是层出不穷、临近上线发现严重bug，如果项目经理总是被这些问题围绕，那么项目总结迫在眉睫。项目经理如何进行项目总结才能让项目顺利进行，让领导一看就喜欢，今天把经验分享给大家，帮助你做好项目总结。总结的思维模式想写好一份项目总结，总结人员必须具备一定的结构化思维，对问题、数据进行结构分析，且能够通过结构化思维表达出来。结构化思维具备以下四个特点。结论：问题比较多的时候，要进行抽象归纳，做到抓大放小，先解决当前最主要的问题。总结的目的✤对项目进行复盘，发现项目中存在的问题，针对问题找到根本原因并提出解决方案；✤提高项目质量，让项目“健康”前行;✤通过数据衡量当前版本的质量，对项目整体情况进行评估...阅读全文
本文从 Redis 的基本特性入手，通过讲述Redis的数据结构和主要命令，对 Redis 的基本功能进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行进一步的介绍。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 概述 Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。 Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图...阅读全文
在Linux的内存分配机制中，优先使用物理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。 一. 内存使用说明 Free 命令相对于top 提供了更简洁的查看系统内存使用情况： [root@debian ~]$ free total used free shared buffers cached Mem: 1035108 1008984 26124 0 124212 413000 -/+ buffers/cache: 471772 563336 Swap: 2096472 842320 1254152 这里显示的单位是KB。 在Linux的内存分配机制中，优先使用物...阅读全文
访问：百度网盘联合会员买1得5：QQ音乐、优酷视频…… 2020年，云计算实现了130亿美元的运营利润，从而帮助亚马逊在当年实现了210亿美元的净利润。怪不得亚马逊创始人贝索斯从首席执行官职位卸任之后，他把指挥公司的大权交给了云计算掌门人安迪·贾西。在全球云计算市场，阿里巴巴、Google、IBM、微软和甲骨文公司都在挑战亚马逊。而和阿里巴巴和Google不同的是，亚马逊云计算业务已经盈利。今年第二季度是贾西执掌亚马逊云计算的最后一个季度，该季度云计算实现了40亿美元的运营利润，同比增长了25%，超出了分析师预期，另外营业收入则增长了37%。七月份，云计算业务另外一位高管亚当·塞林普斯基（Adam Selipsky）接替了贾西的职务，此人曾经在亚马逊云计算工作11年，后来创业，并且把数据软...阅读全文
Solo 是一款 一个命令 就能搭建好的 Java 开源博客系统，如果你想开个独立博客，请一定不要错过！2.5.0 版本主要支持了 Markdown/JSON 格式数据导出，并改进了 Markdown 渲染。 另外，我们 新的博客产品 Pipe（golang 开发）已经开源 ，欢迎大家来围观！ 安装 下载 安装包 解压后执行 java -cp WEB-INF/lib/*;WEB-INF/classes org.b3log.solo.Starter 从 2.4.0 升级只需将已有的配置拷贝覆盖即可，启动后会自动升级。 文档 用户指南 ：安装、配置、备份以及常见问题 开发指南 ：开发环境、项目结构、框架说明 皮肤开发 ：开发步骤、模版变量 插件开发 ：插件机制、处理流程 项目...阅读全文
随着希捷、东芝先后推出16TB容量的HDD硬盘，现今的垂直磁道PMR机械硬盘不论容量还是技术水平应该是到头了，西数计划今年出样18TB及20TB的硬盘，会用上MAMR全新技术。 访问购买页面： 西部数据自营旗舰店 机械硬盘要想再提高容量，现在的磁记录技术已经没多少潜力可挖了，新一代HDD硬盘技术会转向HAMR热磁辅助记录技术，不过西数认为HAMR使用激光辅助加热，技术复杂，成本高，可靠性也低，所以他们更倾向于MAMR微波辅助磁记录技术。 根据西数所说，MAMR硬盘技术的成本和传统垂直记录类似，复杂性、可靠性也都更可控(99.99％的MAMR磁头写入寿命HAMR磁头高出几个数量级)，生态方面也不需要更换新的主机管理损耗均衡。 西数最新表态今年底会推出两款MAMR技术的容量，一款是18TB容量...阅读全文
获取数据时的延迟。此功能在大规模的应用程序上十分重要，因为数据离应用程序越近，程序就能更快获取到数据。 antirez 受 Ben Malec 演讲的启发，他想到可以将大部分需要频繁存和取的数据直接放在服务器的内存中，以便让 Redis 为客户端完成部分工作，并使客户端缓存更简单、更有效。这个就是 Client side caching（客户端缓存）的概念。 不过这个思路有一个需要解决的问题是，如何控制数据的有效时间？在程序允许的情况下，虽然可以直接设置数据的有效时间，让数据在一段时间后失效。但 antirez 表示，大多数的应用程序无法接受提供过时的数据的风险，因此必须找到更理想的方案来控制数据的失效时间。 所以 antirez 决定开发新的协议 RESP3，在协议中加入新特性来支持客户端...阅读全文
官方文档的说明并不详细: https://jasper-zhang1.gitbooks.io/influxdb/content/Query_language/functions.html 实际百分位取第几位的值参考如下 PERCENTILE(field_key, N) 选取某个字段中大于N%的这个字段值。 如果一共有4条记录，N为10，则10%*4=0.4，四舍五入为0，则查询结果为空。N为20，则 20% * 4 = 0.8，四舍五入为1，选取的是4个数中最小的数。如果N为40，40% * 4 = 1.6，四舍五入为2，则选取的是4个数中第二小的数。 由此可以看出N=100时，就跟MAX(field_key)是一样的，而当N=50时，与MEDIAN...阅读全文
Grafana 6.3.3 发布了，Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新主要是 Bug修复，具体如下： Annotations：修复取消时间序列查询时，失败的注释查询 #18532Auth：如果 cookie_samesite 为 none，请不要设置 SameSite cookie 属性 #18462DataLinks：正确地将范围变量应用于数据链接 #18454DataLinks：在图形上下文菜单中显示数据点的时间戳时，遵守时区 #18461DataLinks：插值变量时，正确使用数据点时间戳 #18459Explore：修复空...阅读全文
云存储服务商Backblaze发布了二季度的硬盘故障率统计报告。 此次统计涵盖了BB旗下的177935块机械硬盘，总的年化故障率为1.01%。 硬盘出问题数量最多型号来自希捷4TB（ST4000DM000），但需要注意的是其通电服役时间同样比较长，整体年化故障率1.94%。 有三款硬盘在统计周期内没有故障发生，分别是希捷6TB（ST6000DX000）、HGST 12TB（HUH72122ALE600）和西数16TB（WUH72186ALE6L0）。 综合来看，在二季度，西数以及西数旗下的HGST硬盘，可靠性整体表现还是最为可圈可点。 另外，BB还统计了从2013年至今的硬盘故障率表格，并得出东芝16TB、西数14TB和HGST的12TB/4TB是年化故障率最低的三块硬盘。 - THE...阅读全文
Google 宣布了 新拥堵控制算法 TCP BBR。Google 官方博客称新算法将 google.com 和 YouTube 的全球网络吞吐量平均改进了 4%，在某些国家改进了 14%+。 Google 解释说，现有的 TCP 拥堵控制算法源自 1980 年代，是为低带宽数据传输设计的，解决拥堵主要考虑丢包，也就是在网络堵塞的时候路由器将会丢弃新的数据包。BBR 代表 Bottleneck Bandwidth and Round-trip propagation time，它的拥堵控制采用了不同的方法，考虑了网络实际的数据交付率有多快。根据最近测量的网络交付率和往返时间构建显示模型，最大化近期可用带宽和最小化近期往返延迟。BBR 使用这些数据决定数据发送速率有多快。 Google 已经...阅读全文
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
本文作者从事数据库相关工作接近四十年，最近开始使用 MongoDB。在开始使用 MongoDB 之前，作者希望有些事情自己已经知道。根据一般经验，对于数据库是什么以及它们能干什么，人们会有先入为主的认识。为了给他人提供方便，本文列出了一些常见的错误。 本文要点 即使 MongoDB 没有强制要求，设计一个模式还是至关重要。 类似地，在设计模式及访问模式时设计好索引。 避免大对象，尤其是大数组。 谨慎对待 MongoDB 的设置，尤其是关乎安全和稳定性时。 MongoDB 没有查询优化器，因此，对于如何安排查询操作的顺序，你必须格外小心。 创建一个无需身份验证的 MongoDB 服务器 很遗憾，MongoDB 在安装时默认不启用身份验证。在只从本地访问的工作站上，这没什么不好。但是，由于...阅读全文
prometheus存在单点问题，具体痛点可以这么描述： prometheus单机存储和抓取能力都有上限，容易单点故障。 虽然有一种方式是通过部署N个prometheus分别抓取不同的target来分摊压力的，但是grafana就要为不同的图表配置不同的prometheus地址，复杂程度比较棘手。 thanos+prometheus可以解决这个问题，它提供了一个核心能力： 1，thanos querier组件可以反向代理到N个prometheus，然后grafana直接指向thanos querier即可，thanos querier会从N个prometheus同时查询数据，返回满足Promql的数据结果； 2，如果N个prometheus抓取的数据存在重复的，那么thanos...阅读全文
对于 Python 开发者来说，web 开发框架真可谓玲琅满目。然而 Django , 毋庸置疑的成为最受青睐的 web 框架。通过本篇博客，我来为大家讲解下为什么相比 Flask、Pyramid、Tornado、Bottle、Diesel、Pecan、Falcon 这些流行的 Python web 框架，Python 开发者更倾向于选择 Django。 再大肆宣扬Django之前，让我们简单了解一下web框架 Web框架是一个代码库，使开发人员更容易构建动态网站、Web应用程序和Web服务。 众所周知的是，每个网站都有一些通用的功能（如处理会话，数据验证等等），一些您每次创建网站时都需要编写的功能。 这使开发任务平淡乏味。 然而，使用Web框架可以让您每次创建网站都需要重新编写通用功能代...阅读全文
Zoom 视频通信公司日前公布了 Zoom 5.0 的详细信息，这是对其视频会议客户端的一次重大更新，以解决最近几周发现的许多安全和隐私问题。在即将发布的版本中，用户可以从增加的 AES 256 位 GCM 加密功能中受益，同时还可以选择通话路由。 Zoom 的首席运营官 Oded Gal 表示，Zoom 从整体上考虑用户的隐私和平台的安全性。从 Zoom 网络到 Zoom 功能集到用户体验，所有的一切都要经过严格的审查。在后端，AES 256 位 GCM 加密技术将提升用户数据在传输过程中的安全标准。在前端，Zoom 最兴奋的是会议菜单栏中的安全图标。这将会把所有安全功能，无论是现有的还是新的，都放在会议主持人的前面和中心位置，这将确保用户可以在会议中即时访问重要的安全控制功能...阅读全文
SSL指的是安全套接层协议（以及传输层协议TLS），位于 TCP/IP 协议与各种应用层协议之间，为数据通讯提供安全支持。 ssl 在市面上多指的是安全证书，SSL证书是数字证书的一种，因为配置在服务器上，也称为服务器证书。 数字证书在广义上可分为：个人数字证书、单位数字证书、单位员工数字证书、服务器证书、VPN证书、WAP证书、代码签名证书和表单签名证书。我们这里介绍SSL证书的类型与区别。 DV（域名型）SSL证书：只验证域名，适合个人网站、博客等站点使用；在网络黑客、钓鱼威胁层出不穷，域名型SSL数字证书可有效保护通过互联网所发送的数据，为网络账户登录、邮件等机密信息资讯提供安全防护。安全级别较低。 OV（企业型）SSL证书：验证网站所属单位身份，适合于中型企业级用户使用；企业型证...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
11 月 1 日，开源数据库 MariaDB 在官网正式宣布已完成由阿里巴巴领投的 C 轮 2700 万美元的融资。融资完成后，MariaDB 将具备更强的实力参与数据库竞争。阿里巴巴集团旗下云计算部门阿里云已在今年 3 月成为 MariaDB 白金赞助商，双方后续将继续合作，为云端和新兴用例提供新的解决方案。 MariaDB 公司创始人 Michael Wideneus 表示：“ MariaDB 获得本轮融资，得益于基于我们为下一代应用而推出的一整套完备的数据基础应用功能建设。同时，在发布基于人工智能的，面向云和自动化的新一代解决方案之后，这轮融资将使得 MariaDB 未来得以高速发展。” 阿里云副总裁李津也表示：“ MariaDB 正在成为企业级开源数据库的标准。我们相信，在开源社区...阅读全文
Nginx 发布了 mainline version 1.13.0（即通常说的开发版）。更新内容如下： Change: SSL renegotiation is now allowed on backend connections. 后端连接现在允许 SSL 重新协商 Feature: 用于邮件代理和流模块的 “listen” 指令的 “rcvbuf” 和 “sndbuf” 参数 Feature: t 现在可以使用 “return” 和 “error_page” 指令返回 308 重定向 Feature: “ssl_protocols” 指令的 “TLSv1.3” 参数。 Feature: 当出现登录信号时，nginx 现在会记录发送信号的进程的 PID Bugfix: 内存分配错误...阅读全文
CERN 无需过多介绍了吧。CERN 创建了 万维网(World Wide Web)（WWW）和 大型强子对撞机(Large Hadron Collider)（LHC），这是世界上最大的 粒子加速器(particle accelerator)，就是通过它发现了 希格斯玻色子(Higgs boson)。负责该组织 IT 操作系统和基础架构的 Tim Bell 表示，他的团队的目标是“为全球 13000 名物理学家提供计算设施，以分析这些碰撞，了解宇宙的构成以及是如何运转的。”CERN 正在进行硬核科学研究，尤其是大型强子对撞机，它在运行时 生成大量数据。“CERN 目前存储大约 200 PB 的数据，当加速器运行时，每月有超过 10 PB 的数据产生。这必然会给计算基础架构带来极大的挑战，包...阅读全文
一 Kafka可视化管理工具kafka-manager 安装及基本使用可参考：https://www.cnblogs.com/dadonggg/p/8205302.html 二 线上环境规划 JVM参数设置 kafka是scala语言开发，运行在JVM上，需要对JVM参数合理设置，参看JVM调优专题 修改bin/kafka-start-server.sh中的jvm设置，假设机器是32G内存，可以如下设置： export KAFKA_HEAP_OPTS="-Xmx16G -Xms16G -Xmn10G -XX:MetaspaceSize=256M -XX:+UseG1GC -XX:MaxGCPauseMillis=50 -XX:G1HeapRegionSize=16M" 这种大内存的情况一般...阅读全文
