URL的类。 每个spider负责处理一个特定(或一些)网站。 Item Pipeline Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 下载器中间件(Downloader middlewares) 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。 Spider中间件(Spider middlewares) Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
Elasticsearch 7.6.0 发布了，Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 更新内容较多，摘取部分新特性： Aggregations 新的直方图字段映射器，支持百分位数聚合 #48580 (issue: #48578)对字符串术语实施统计汇总 #47468 Analysis 实施 Lucene EstonianAnalyzer，投票 #49149 (issue: #48895) Authentication 受密码保护的密钥库 (Feature Branch) #49210 Features/ILM+SLM 等待 SLM 策略执行的 ILM 操作 #50454 (issue: #45067)添加 ILM histore 商店索引...阅读全文
数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
ThinkPHP V5.1 —— 12 载初心不改，你值得信赖的 PHP 框架。期盼已久的 V5.1.0 版本今日正式发布，祝大家 2018 年新年快乐！ ThinkPHP 自诞生以来一路走来已经 12 载，初心不改，并将继续努力，感谢大家的一路支持和贡献！ 特性 5.1 版本主要特性包括： 引入容器和 Facade 支持 依赖注入完善和支持更多场景 重构的（对象化）路由 路由跨域请求支持 支持注解路由 配置和路由目录独立 取消系统常量 助手函数增强 类库别名机制 模型和数据库增强 验证类增强 模板引擎改进 支持 PSR-3 日志规范 安装 5.1 版本开始官方不提供下载包，请使用 composer 安装： composer create-project topthink/think tp...阅读全文
。 更快地分析 C＃、C、C++ 和 Objective-C 在此版本中，通过消除分析过程中不必要和多余的工作，加快了针对 C、C++、Objective-C 和 C＃ 的分析速度。对于 C、C++ 和 Objective-C，测试显示分析时间最多可减少 80％，具体取决于项目使用的外部依赖项的数量，而 C＃ 分析显示，时间平均缩短了 25％。 热备份，更快的启动 现在可以进行数据库备份而无需关闭 SonarQube，不必担心数据损坏。SonarQube 在问题索引编制完成之前接受并处理分析报告。这意味着，即使在接口完全可用之前，Quality Gate 的状态也将被更新，并发送 webhooks 和拉取请求。同时，一旦索引了每个项目，就可以浏览每个项目。简而言之，当启动在后台进行时，开发生命周...阅读全文
和undefined是JS中的两个特殊类型,object是引用类型。 Javascript可以通过typeof来判断基础数据类型，但不能够准确判断引用类型, 因此需要用到另外一个方法，那就是Object的toString,关于数据类型及其判断可以参考以下博客：数据类型详解 和 判断JS数据类型的四种方法 JS常用的内置对象有Date、Array、JSON,RegExp等。 一般来讲，Date和Array用的最频繁，JSON可以对对象和数组进行序列化和反序列化，还有一个作用就是实现对象的深拷贝。 RegExp即正则表达式，是处理字符串的利器。 关于数据类型和正则表达式的介绍可以参考博客：ES5对数组增强的9个API 和 JS正则表达式精简 1、函数原型链 Javascript虽然没有继承概念...阅读全文
可扩展套件，与你的基础环境交互，执行流程如下： 从各个服务系统通过push或pull的方式把event传给sensors， sensors会产生一个trigger到规则配置中查询该trigger对应的动作或者工作流将来自工作流的Action发送到消息队列（内置rabbitmq）中Actions到达外部的系统后就执行相应的动作日志和审计历史被推送到数据库进行存储（Mongodb）处理后的结果被发送回规则引擎进行进一步处理 Stackstorm的更新非常活跃，最新的发布信息从官方网站上可以看到。目前最新的版本是 2.10.1。 Stackstorm工作原理 目录...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
谷歌已宣布将其内部使用的 Tsunami 漏洞扫描程序进行开源，以帮助其他组织保护用户数据。Tsunami 将不会成为谷歌的正式品牌产品，而是由开源社区以类似于管理 Kubernetes（另一种谷歌内部工具）的方式来维护。 “我们已经向开源社区发布了 Tsunami 安全扫描引擎。我们希望该引擎可以帮助其他组织保护其用户数据。我们还希望促进协作，并鼓励安全界在 Tsunami 之上创建和共享新的探测器。” 与其他漏洞扫描程序不同的是，Tsunami 本就是秉承着以大型企业为使用对象的初衷而进行构建的，旨在查找包含数十万个设备的大型网络中的漏洞。谷歌方面表示，其设计的漏洞扫描程序具有极强的适应性，Tsunami 能够扫描多种设备类型，而无需为每种设备运行不同的扫描仪。 Tsunami 在扫描...阅读全文
框架 Omi 内置 observe 制作响应式视图(免去 this.update) Web Components 也可以数据驱动视图, UI = fn(data) JSX 是开发体验最棒(智能提示)、语法噪音最少、图灵完备的 UI 表达式，模板引擎不完备，模板字符串完备但是语法噪音太大 独创的 Path Updating 机制，基于 Proxy 全自动化的精准更新，功耗低，自由度高，性能卓越，方便集成 requestIdleCallback 对 this.update 说再见吧！只要使用 store 系统，它就会自动化按需更新局部视图 看看Facebook React 和 Web Components对比优势，Omi 融合了各自的优点，而且给开发者自由的选择喜爱的方式 Shadow DOM...阅读全文
等数据库都能做到开箱即用。 点击此处了解使用 Django 及其 ORM 进行数据处理的基础知识。 强大的内置模板系统 基于继承系统，Django 的模板允许开发人员通过非常少量的前端代码构建整个动态网站。这得益于使用其他上下文特定元素替换模板的某些元素的选项。 想象一下，你知道你网站的每个页面都会有一个页眉和一个页脚。 现在，您首先需要在网站的基本模板中编写代码。 然后，您可以从应用程序的其他部分动态地更改这两个内容之间的组件。 简单可读的网址 很难正确阅读在PHP os ASP中开发的URL？ 使用 Django，您可以创建简单易读的 URL，这对人和搜索引擎都有好处。 您也可以使用其他框架创建可读 URL，但没有一个与 Django 一样容易进行 URL 构造。 快速容易的创建RSS和...阅读全文
拍摄的截图（Justin Paine 在博客中展示了一些处理过的图片）。我们将根据相关法律法规采取适当行动，并将继续采取积极主动的安全措施，以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数： 2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1...阅读全文
的定制能力。ECharts 底层依托了开源渲染引擎 ZRender ，支持 Canvas 和 SVG 等多种方式的渲染，支持 PC 、移动端、数据大屏、服务端渲染等多种设备场景。 目前，在 2018 年初发布的新版本 ECharts (4) 中，一些常用图表已支持最高达千万级的数据可视化，并且提供了小程序、无障碍访问等支持。基于 WebGL 的 ECharts-GL 能支持各种 3D 图表渲染、以及海量数据的渲染加速。目前，各种基于 ECharts 的扩展库，以及相关的可视化服务系统已经形成了丰富的产品体系和活跃的社区环境。ECharts 目前在 GitHub 上拥有 25k+ 的关注和 2k+ 的相关项目。大量的社区的反馈和贡献使 ECharts 不断地迭代进化。 业内人士认为，进入...阅读全文
本文作者从事数据库相关工作接近四十年，最近开始使用 MongoDB。在开始使用 MongoDB 之前，作者希望有些事情自己已经知道。根据一般经验，对于数据库是什么以及它们能干什么，人们会有先入为主的认识。为了给他人提供方便，本文列出了一些常见的错误。 本文要点 即使 MongoDB 没有强制要求，设计一个模式还是至关重要。 类似地，在设计模式及访问模式时设计好索引。 避免大对象，尤其是大数组。 谨慎对待 MongoDB 的设置，尤其是关乎安全和稳定性时。 MongoDB 没有查询优化器，因此，对于如何安排查询操作的顺序，你必须格外小心。 创建一个无需身份验证的 MongoDB 服务器 很遗憾，MongoDB 在安装时默认不启用身份验证。在只从本地访问的工作站上，这没什么不好。但是，由于...阅读全文
RethinkDB最早是作为一个对SSD进行专门优化的MySQL存储引擎出现的，其特点在于对SSD的充分利用。而目前RethinkDB已经脱离MySQL成为一个独立的存储。 RethinkDB目前支持几乎所有的64位Linux发行版，包括： Ubuntu 10.04.1 x86_64 Ubuntu 10.10 x86_64 Red Hat Enterprise Linux 5 x86_64 CentOS 5 x86_64 SUSE Linux 10 RethinkDB支持各种底层存储：SSD，传统磁盘以及像AWS这样的云存储服务。 RethinkDB应用场景 它可以用来替代Memcached作为数据缓存层。或者替代一些类似Memcached的存储，比如Membase，MemcacheDB...阅读全文
Material 和其他解决方案的最新版本将一起发布，以便开发人员更好地访问最新版本的 Angular。 根据 Fluin 的说法，团队将重点放在缩小尺寸上，Angular 6 中的捆绑包将更小 ，以便为用户提供更快的体验。 团队正在通过更新到最新版本的 Webpack 来实现这一点。 此外，最新版本将引入一种新的方式来连接应用程序和服务中的模块。 例如，团队正在增加服务引用模块的能力，这样如果服务没有被使用，它就会消失，从而简化包的大小。 版本 6 也更新为 RxJS，即，使用 Observables 进行反应式编程的库 。 根据 Angular 的说法，这使得编写异步或基于回调的代码更容易。 在易于使用的一方面，该团队正在向 CLI 界面介绍更新 。 这个新命令将自动让用户保持最新状态并更新正在使用的...阅读全文
（"hot spot"热点竞争问题）工作负载。 2. NoSQL：MySQL 从 5.7 版本开始提供 NoSQL 存储功能，目前在 8.0 版本中这部分功能也得到了更大的改进。该项功能消除了对独立的 NoSQL 文档数据库的需求，而 MySQL 文档存储也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。 3. 窗口函数(Window Functions)：从 MySQL 8.0 开始，新增了一个叫窗口函数的概念，它可以用来实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似，但它不会将多行查询结果合并为一行，而是将结果放回多行当中。即窗口函数不需要 GROUP BY。 4. 隐藏索引：在 MySQL 8.0 中，索引可以被...阅读全文
Cloudflare宣布Auto RAG(全托管检索增强生成服务)于2025年4月7日开放测试，该服务旨在简化情境感知AI系统在应用中的集成流程。 Auto RAG利用自有数据源与大语言模型实时结合，提高AI响应准确性，解决传统LLM知识时效性不足的问题。开发者此前需手动串联数据存储、向量数据库、嵌入模型等组件并处理索引更新，现由AutoRAG端到端托管。 > AutoRAG的核心功能为自动数据摄取、分块嵌入、向量存储于Cloudflare Vectorize数据库，以及基于语义检索生成智能响应。其流程包括： > > 索引构建：从支持Cloudflare R2的数据源读取文件，转换为Markdown格式（含图像视觉-语言转换）、分块并生成嵌入向量； > > 查询处理...阅读全文
PostgreSQL 13 已正式发布，新版本对索引和查找系统进行了重大改进，大型数据库因此受益甚多，包括节省了空间并提高了索引的性能，使用聚合或分区的查询的响应时间更快，使用增强的统计信息时更好的查询计划(query planning)等。 除了并行化清理(parallelized vacuuming)和增量排序(incremental sorting)等呼声较高的功能外，PostgreSQL 13 还为大大小小的工作负载提供了更好的数据管理体验，并对日常管理进行了优化，为应用开发者提供了更多便利，并增强了安全性。 性能提升 在先前 PostgreSQL 版本的基础上，PostgreSQL 13 可以有效地处理 B 树索引（PostgreSQL 的标准索引）中的重复数据，从而降低 B 树...阅读全文
现在，Web开发公司和开发人员可以选择多种技术栈来构建Web应用程序。早期网络发展，不同的技术被用于前端和后端开发。但是，随着Node.js的发布，布局发生了变化，因为它允许开发人员使用 JavaScript 编写后端代码。这最终催生了MEAN（MongoDB + Express +AngularJS + NodeJS ）堆栈 web 开发框架，从前端到后端甚至是数据库（MongoDB -JSON）都使用 JavaScript。在 Node.js 之前，Web 开发通常是在 PHP 的帮助下完成的，因为它很容易与 HTML 集成，帮助开发人员立即构建动态网站。在这篇文章中，我们将比较 Node.js 和 PHP，看哪一个最适合当前的行业需求。 PHP 和 Node.js 的基本区别在于...阅读全文
统的实现，深度参与到社区的创新和实践。除标准组件外，此次openEuler社区还孵化了A-Tune和iSula两个开源子项目：A-Tune是智能性能优化系统软件，即通过机器学习引擎对业务应用建立精准模型,再根据业务负载智能匹配最佳操作系统配置参数组合，实现系统整体运行效率提升；iSula是一种云原生轻量级容器解决方案，可通过统一、灵活的架构满足ICT领域端、边、云场景的多种需求。 开发者可以通过访问如下链接，获得相关代码和文档，供参考学习、了解openEuler操作系统的架构和源代码， https://gitee.com/openeulerhttps://gitee.com/src-openeuler...阅读全文
2018 年伊始，Wine（Wine Is Not an Emulator） 项目发布了年度更新，释出了最新的 3.0 稳定版本。 Wine 是一个在 Linux 和 Unix 类操作系统上运行 Windows 应用及游戏的开源兼容层。 经过近一年的开发，Wine 3.0 发布了许多神奇的功能，如 Android 图形驱动可以使用户在基于 Android 的机器上运行 Windows 应用和游戏，对 AMD Radeon 和 Intel GPU 默认启用 Direct3D 11 支持，在 macOS 上支持 AES 加密支持，程序管理器的 DDE 支持以及任务调度器。 此外，Wine 3.0 通过 reg.exe 引入了输出注册表项的功能，对中继调试和 OLE 数据缓存增加了各种增强，以及...阅读全文
遵守的SEO规范，开发网站或修改网站时，即使不与SEO部门协同，也至少不能违反SEO规范，以防产生灾难性的后果。以前为客户写过一些技术部门SEO规范，现在简单整理更新一下，分享给大家，希望对其它公司也有帮助。 技术部门SEO规范 本SEO规范适用于公司所有新建网站及对现有网站的更新、改版。本SEO规范不是建议，是强制性规定。编程、前端、运维等技术相关部门务必遵守。 对本SEO规范中的内容有疑义时，请与SEO部门沟通，不可自行解释有疑义部分。 域名及服务器相关 只解析公司因业务需要决定开通的子域名。未开通子域名一律不解析。不要使用泛解析（以通配符*代替子域名）。不能有两个或两个以上域名显示同样网站内容（无论以哪种方式实现，如解析至相同根目录、上传同样文件和数据库）。用于测试的子域名使用...阅读全文
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
MongoDB 创建数据库 - 格式：use DATABASE_NAME - use ruochen - db 创建数据库需要插入一条数据才会在列表中显示 - db.ruochen.insert({'name': '若尘'}) - show dbs 删除数据库 格式：db.dropDatabase() use ruochen db.dropDatabase() show dbs 创建集合 - 格式：db.createCollection(name, options) - name: 要创建的集合名称 - options: 可选参数，指定有关内存大小及索引的选项 字段 类型 描述 capped 布尔 （可选）如果为 true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它...阅读全文
最近，我们可能经常会听到一种说法"Docker正在彻底改变IT!"这种说法是否存在炒作嫌疑呢？Docker对于现有格局的破坏性到底在哪里？Docker和虚拟机之间有什么区别？Docker真正的附加价值在哪里？本文我们将和Docker大牛Chanwit Kaewkasi来讨论这些话题。 Asst. Prof. Dr. Chanwit Kaewkasi 问：您是如何与Docker结缘的呢？ Chanwit Kaewkasi：这个可以追溯到2014年，当时我们实验室正在寻找一个虚拟化层来帮助管理大数据栈，而虚拟机解决方案对我们来说太重了，所以遇到Docker对我们来说是一件幸事。 问：我们经常听到"Docker正在彻底改变IT"，你认同这种观点吗？Docker技术有什么破坏性？ Chanwit...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
同的源语言创建可移植的二进制可执行文件。 这些二进制文件可以在各种环境中运行。 它起源于 Web，并得到各大主流浏览器的支持。Wasm 如何在浏览器中工作？浏览器引擎集成了一个 Wasm 虚拟机，通常称为 Wasm 运行时，可以运行 Wasm 二进制指令。 编译器工具链（如 Emscripten）可以将源代码编译为 Wasm 目标。 这允许将现有的应用程序移植到浏览器，并直接与在客户端 Web 应用程序中运行的 JS 代码通信。这些技术能让传统的桌面应用程序在浏览器中运行。现在它们可以在任何装了浏览器的设备上运行。 一些著名的例子包括 Google Earth 和用于计算机视觉的 Open CV 库。Wasm 如何在服务器上运行？除了浏览器，也有可以在浏览器之外运行的 Wasm 运行时，包括...阅读全文
制 ：这是 PostgreSQL 在物理复制之外提供的另一种可选方案，提供了更大的灵活性，而且配置简单。 改进并行查询 ：在查询很多时应该会有 2 到 4 倍的速度提升。 更强大的密码哈希算法 ：使用了 SCRAM -SHA–256。 关于 PostgreSQL 10，还有更多的特性正在开发之中，就像 2ndQuadrant 创始人兼首席执行官 Simon Riggs 在最近的一次演讲中所 介绍 的那样。包括 PostgreSQL 10 官方路线图在内，正在进行中的特性开发工作还有诸如以下这些： 自治事务 多主集群，使用 分片 提高扩展性和可用性 查询 JIT 编译 可插拔的存储引擎（columnar、内存内存储等） 页级数据压缩等 改进临时表性能 不过，哪些特性将成为 PostgreSQL...阅读全文
Gitlab 官方 宣布 ，将从 12.1 版本开始不再支持 MySQL 数据库。早在 2017 年 7 月，Gitlab 就计划将弃用对 MySQL 的支持。而目前这个决定将从 12.1 版本开始。 官方列出几个 MySQL 不能满足 Gitlab 需求的地方： 无法支持嵌套分组查询（详情）必须使用黑科技来提升 MySQL 对列的限制，这将导致 MySQL 拒绝存储数据MySQL 无法添加 TEXT 类型字段的长度限制MySQL 不支持分区索引还有类似 Geo 为了解决上面这些问题，Gitlab 创建了许多专门针对 MySQL 的代码。 在某些情况下，这导致合并请求的复杂性要高一倍，因为它们必须支持第二个数据库后端。 创建和维护这些代码会消耗我们的循环时间和速度，并且会降低我们的迭代值...阅读全文
需要观测时没有数据。eBPF 执行引擎可通过动态加载执行 eBPF 脚本来采集可观测性数据，举个具体例子，假设原本的 K8S 系统并没有做进程相关的监测，有一天发现了某个恶意进程（如挖矿程序）在疯狂地占用 CPU，这时候我们会发现这类恶意的进程创建应该被监测起来，这时候我们可以通过集成开源的进程事件检测库来是实现，但这往往需要打包、测试、发布这一整套流程，全部走完可能一个月就过去了。相比之下，eBPF 的方式显得更为高效快捷，由于 eBPF 支持动态地加载到内核监听进程创建的事件，所以我们可以将 eBPF 脚本抽象成一个子模块，采集客户端每次只需要加载这个子模块里的脚本完成数据采集，再通过统一的数据通道将数据推送到后端。这样我们就省去了改代码、打包、测试、发布的繁琐流程，通过无侵入的方式动态...阅读全文
TrueOS 17.12 已发布，引入了多项增强功能，附带了 Firefox Quantum 网页浏览器。该版本的重点是大量的清理和让 TrueOS 的独特功能更加稳定：OpenRC，引导速度，可移动设备管理，SysAdm API 和 LibreSSL 集成，Lumina 改进等等。 正如预期的那样，TrueOS 17.12 将 Lumina Desktop 1.4.1 作为默认的桌面环境，带来了新的主题引擎和 ZFS 集成。对多个同步图形会话的支持也已添加到 PCDM 登录管理器。 对于不想使用 Lumina 桌面环境的用户，可选择诸如 Xfce 4.12，LXDE 1.0，MATE 1.18.0，KDE 4.14.3，GNOME 3.18.0 和 Cinnamon 2.4.6 桌面环境...阅读全文
），但是这些选项可以根据需要进行配置。 Postgres 10另一个重要的新特性是支持JSON和JSONB类型列的全文搜索。一旦我们创建了一个特定语言的全文索引，我们就可以通过JSON字段对值进行直接搜索。在JSON列上的全文索引与其他列是类似的，因此我们的查询需要使用to_tsquery函数和to_tsvector函数的文本搜索的语法。 标识列（Identity columns）和自增列（Auto-increment columns）也是Postgres 10进行改进的一个地方。新的实现方法会有一点冗长，但是它是符合SQL标准的，使得在不同数据库之间的迁移会更加容易。最重要的是，使用Postgres 10时，我们在从一个不同的id重启时，不再需要修改序列（alter sequences）了，但...阅读全文
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
果这个asset不健康，它仅仅会导致某个集群的运行中断，还是会影响全球的服务？插件还给用户特定的数据提供了空间，而不用占用负载的定义。 asset一般少于1kb数据，通常少于10kb，我们的最大值限制的是150kb。这个限制是为了让asset更容易被使用。这样，工具可以在内存里加载asset，无需担心这么做会造成过多的消耗。这个方案是受实体-组件系统[4]的启发。 asset的内容提供了足够的信息来构建建模资源的完整状态。具体来说，应该可以重新创建生产状态，而不必查看当前的生产状态——这是一个单向过程。 但是，所有的配置必须在asset里。比如，我们肯定有些情况需要MB级别的配置。这时，可以保存对外部数据源（比如包，数据库和版本控制）的引用。这些引用必须指向不可变外部数据。 在...阅读全文
和强大性，更重要的是它的框架(MSF)。它允许使用者开发自己的漏洞脚本，从而进行测试。 之所以称为框架，因为 MSF 本身包含了很多漏洞攻击模块，由一群开发者在进行维护和更新，更重要的是几乎每个 CVE 漏洞都会被添加到 MSF 里，有人称之为是“可以黑掉整个宇宙”的渗透测试框架。 这个强大的框架日前已发布最新的 5.0 版本。这是 Metasploit 团队在过去一年中的工作成果。此外，该版本还是自2011年以来 Metasploit 的第一个主要版本。Metasploit 5.0 带来了许多新功能，以及新的发布周期。 其中官方特别提到 Metasploit 5.0 使用了新的数据库，并提供了一种新的数据服务。新版本引入了新的规避机制(evasion capabilities)，支持多项语...阅读全文
按计划，JDK 10 将于 3 月 20 日正式发布。据前 Oracle 员工 Simon Ritter 的统计，JDK 10 总共包含 109 项新特性。当然，在最终发布前，可能还会发生变化。 新特性中最重要的，是我们之前曾报道过的 12 个 JEP ： JEP 286: 局部变量的类型推断。该特性在社区讨论了很久并做了调查，可查看 JEP 286 调查结果。 JEP 296: 将 JDK 的多个代码仓库合并到一个储存库中。 JEP 304: 垃圾收集器接口。通过引入一个干净的垃圾收集器（GC）接口，改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC。 JEP 310: 应用类数据共享。为改善启动和占用空间，在现有的类数据共享（“CDS”）功能上再次拓...阅读全文
误数：如 HTTP 500 错误。当然，有些即便是 HTTP 200 状态也需要根据特定业务逻辑来区分当前请求是否属于“错误”请求。 饱和度：类似服务器硬件资源如CPU,内存,网络的使用率等等。 所以，我们决定使用 Micrometer 库来对各个组件进行吞吐量，延迟和错误率的埋点，从而对 DB 类，RPC类的组件做性能监控。因此也可以说，我们第二阶段的监控是以指标监控为主，调用链监控为辅的应用性能监控。 3.1 使用 Endpoint 贯穿指标埋点帮助性能分析 在指标埋点过程中，我们在所有的指标中引入了“流量入口（Endpoint）”标签。这个标签的引入，实现了根据不同流量入口来区分关联 DB，缓存，消息队列，远程调用类的行为。通过流量入口，贯穿了一个实例的所有组件指标，基本满足了以下场景...阅读全文
Linux上的中文输入法，基本上都比较原始，仿佛还停留在上个世纪。唯有搜狗还行。 简介 2013年12月，搜狗与Ubuntu Kylin团队开始合作开发“搜狗输入法Linux版”。经过五个月的合作，于2014年4月17日，正式发布了1.0版本。2015年10月16日更新至2.0版本。 搜狗输入法Linux版基于开源小企鹅输入法框架、开源Qimpanel面板以及搜狗输入法引擎开发。目前，我最看重的功能有： 智能输入，动态调频，动态组词 可自由导入的细胞词库 模糊音输入，智能纠错 方便的中英文切换 长词联想 逗号句号翻页 皮肤替换 添加源安装 由于Debian官方是不支持搜狗输入法的，因此纯命令行操作，要先添加源。 如果没有apt-add-repository，先用sudo apt-get...阅读全文
Node.js 10.0.0 正式发布，这是自 Node.js Foundation 开展以来的第七个主要版本，并将在 2018 年 10 月成为下一个 LTS 分支。 新版本自带定制化的 Node-ChakraCore 引擎，其功能亮点包括： 全面支持 N-API 可轻松通过新的 Visual Studio Code Extension 进行 Time-Travel 调试 支持 TTD 的生成器和异步函数 支持 Inspector 协议 增强稳定性和其他各种改进 Node.js 10.0.0 还包含以下更新： N-API native addons API 已从实验状态毕业 Async_hooks 过时的实验性 async_hooks API 已被删除 Child Process 忽略未...阅读全文
Django 2.2 已正式发布 ，这是一个长期支持版本（LTS），亦即意味着官方会提供 至少三年 的安全问题和数据丢失修复。除此之外，它还会接收到修复崩溃错误、新引入特性中主要功能错误的程序，以及修复接下来八个月到 2019 年 12 月为止关于旧版 Django 的回归错误。 2.2 新特性：https://docs.djangoproject.com/en/2.2/releases/2.2/下载地址：https://www.djangoproject.com/download/升级指南：https://docs.djangoproject.com/en/2.2/howto/upgrade-version/ 值得关注的新特性 HttpRequest.headers 可访问请求者的...阅读全文
findAndModify 命令可以引用现有字段，并加入聚合管道，以获得更强的表现力可还原读写，降低了编写处理临时集群故障的代码的复杂性 客户端字段级加密 (FLE，Client-side Field Level Encryption) 现已是 MongoDB 4.2 的一部分，可以在 beta 版中使用。使用 FLE，可以选择性地保护文档中的敏感字段，每个字段都使用自己的密钥加密，并在客户端上无缝解密。 MongoDB 是现代应用程序的通用数据库，它汇集了文档模型、智能分布式系统以及在任何地方运行它的能力，从笔记本电脑到大型机，在公共和私有云中运行。如果以 MongoDB 4.2 为例，最快和最简单的方法是在 MongoDB Atlas 上启动一个集群，在 AWS、Azure 和 GCP 上的 60 多个区域都可...阅读全文
个干净的垃圾收集器（GC）接口，改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC JEP 310: 应用类数据共享。为改善启动和占用空间，在现有的类数据共享（“CDS”）功能上再次拓展，以允许应用类放置在共享存档中 JEP 312: 线程局部管控。允许停止单个线程，而不是只能启用或停止所有线程 JEP 313: 移除 Native-Header Generation Tool (javah) JEP 314: 额外的 Unicode 语言标签扩展。包括：cu (货币类型)、fw (每周第一天为星期几)、rg (区域覆盖)、tz (时区) 等 JEP 316: 在备用内存设备上分配堆内存。允许 HotSpot 虚拟机在备用内存设备上分配 Java 对象堆...阅读全文
火墙等），OSSEC作为强大的日志分析引擎是一个不错的选择。后来的发行版增加了用于基于debian的系统的身份验证日志文件，以及用于分析（3.6.0）的非标准Sophos UTM时间戳，用于缩进日志的多行日志收集（3.5.0）以及对多行的其他升级。记录。2. Tripwire顾名思义，这是Tripwire开发的基于主机的免费开放源代码检测系统。该公司也提供商业解决方案，但我们将专注于开源HIDS。开源的Tripwire软件包仅在几乎所有Linux发行版上运行。它以确保数据完整性的强大功能而闻名，它可以帮助系统管理员检测对系统文件的更改，并在文件损坏或被篡改时通知他们。要将其安装在Linux主机上，只需使用apt-get或yum实用程序。在安装过程中，系统将要求您添加必需的密码。最好选择一个...阅读全文
JavaScript引擎，能够阻止side-channel攻击方式。 下载地址：https://www.google.com/chrome/browser/desktop/index.html...阅读全文
1.新的问题influxdb目前支持内存型索引inmem及文件型索引tsi1。之前追踪篇将influxd索引修改为tsi1之后，经过一段时间的运行，从监控观察到，由于调用方采用异步队列+批处理的方案将数据写入influxdb，会在某些时刻调用方内部出现数据堆积，指标如图:横坐标: 时间轴，从12-29 00:00 到 12-30 00:00纵坐标: 队列中数据堆积长度，坐标最大值250k，即最大25w个数据堆积从上图可以看到，当天监控出现数次堆积，上午7:00-10:00尤为严重。在堆积时，登录influxdb服务器，查看机器状态如下:top - 09:40:58 up 120 days, 19:18, 1 user, load average: 32.29, 32.32, 29.82...阅读全文
面的代码来删除该信息： remove_action('wp_head', 'wp_generator'); 9. 理智选择第三方插件和主题 WordPress 的插件和主题拥有着用户梦寐以求的功能。但一个不好的插件会影响性能、泄露隐私数据或授予使用者另一种访问方式。除非绝对必要，否则最好避免安装代码。而且在进行在线安装时，还要注意验证插件的真实性并在本地服务器上进行测试。 10. 定期更新 WordPress 和插件 WordPress 会自动更新，但主要版本需要一键激活过程。当然，在备份数据库和文件之后再更新。同样地，记得定期检查主题和插件的更新。 风险规避应该在更新在线系统之前检测副本测试服务器上的更新。也就是说，WordPress 更新过程和向后兼容性很少引起问题。 还有其他快速和简单...阅读全文
, OpenEdge ABL, PL/I, Pony, Processing, Programming Without Coding Technology, Q, Racket, Raku, Ring, S, Solidity, SPARK, Tcl, VBScript, VHDL, X++, Zig Top 10 编程语言 TIOBE 指数走势（2002-2023） 历史排名（1987-2023） 注：以下排名位次取决于 12 个月的平均值。 编程语言“名人榜”（2003-2022） 【说明】： TIOBE 编程语言社区排行榜是编程语言流行趋势的一个指标，每月更新，这份排行榜排名基于全球技术工程师、课程和第三方供应商的数量，其中包括了流行的搜索引擎以及技术社区，如 Google、百度、维基百科、CSDN、必...阅读全文
。每个服务都将自己的运行指标推送到 Atlas 中，用于绘制仪表盘和报警。Atlas 是Netflix的一个内存时间序列数据库。每个服务都将自己的日志发送到 ELK 集群中。每个内部服务除了deck 和 gate 必须用 mutual TLS，并且证书和认证通过 Lemur 进行管理。不允许任何外部流量进入内部服务中。所有的 API 调用必须经过 gate。每个外部服务（除了gate）都要支持 mTLS 或者 SSO。如果某个服务有数据存储的需求，那么只能存在自己的数据库中，服务之间不共享数据存储。 为了保证兼容性，Spinnaker 在开发过程中还会准守一些准则： 保证足够的单元测试和覆盖率。在 code review 的时候特别注意是否会破坏API兼容性。7×24 不间断的执行集成测试。有...阅读全文
