据 Dgraph Labs 创始人 Manish Rai Jain 在其宣布 1.0.0 版本正式发布 的 文章 中透漏，他们已完成了由贝恩资本投资公司的 Salil Deshpande 领头的 300 万融资。凭借早期在基础设施软件和开源软件方面的经验，Salil 将加入 Dgraph 董事会。Jain 表示，这一轮融资正好是我们扩大云服务的时机，并继续建立世界上最先进的图数据库。 Dgraph 是一个可扩展的，分布式的，低延迟的图数据库，于 2015 年开源，最初是出于希望消除传统关系型数据库的典型弱点而创建的。为了解决组织在数据库增长超过单个服务器时面临的一些问题，Dgraph 以更有效的方式分割数据，这使查询可以在没有通用视图的情况下执行。它还减少了网络调用和磁盘查询需要执行查询的...阅读全文
数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
富的组件和主题，可以快速构建美观、易用的页面。 Axios：Axios是一种流行的HTTP请求库，它可以轻松地处理异步请求、拦截器等功能。 ECharts：ECharts是一款优秀的图表库，它可以提供多种类型的图表和交互方式，可以方便地展示数据。 功能设计 商城后台管理系统通常包含以下功能： 登录/注销：管理员可以通过用户名和密码进行登录，并可以退出登录。 权限管理：管理员可以对用户和角色进行管理，控制用户的访问权限。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 数据统计：管理员可以查看系统中的数据统计报表，包括销售额、订单量、会员数等。 开发流程 下面是商城后台管理系统的开发流程： 1. 搭建环...阅读全文
SQLite 3.30.0 发布了，SQLite 是一个 C 实现的 SQL 数据库引擎，它的特点是小型、快速、自包含、高可靠性和功能齐全。SQLite 嵌入在所有手机和大多数计算机中，也捆绑在为数众多的其它应用中，是世界上使用量最大的数据库引擎。 此版本更新内容包括： 添加对聚合函数的 FILTER 子句的支持添加对 ORDER BY 子句中的 NULLS FIRST 和 NULLS LAST 语法的支持增强了 index_info和index_xinfo 编译指示，以提供有关 WITHOUT ROWID 表在磁盘上的表示形式的信息新增 sqlite3_drop_modules() 接口，使应用程序可以禁用不需要的自动加载的虚拟表改进 CLI 中的 .recover dot...阅读全文
Cloudflare宣布Auto RAG(全托管检索增强生成服务)于2025年4月7日开放测试，该服务旨在简化情境感知AI系统在应用中的集成流程。 Auto RAG利用自有数据源与大语言模型实时结合，提高AI响应准确性，解决传统LLM知识时效性不足的问题。开发者此前需手动串联数据存储、向量数据库、嵌入模型等组件并处理索引更新，现由AutoRAG端到端托管。 > AutoRAG的核心功能为自动数据摄取、分块嵌入、向量存储于Cloudflare Vectorize数据库，以及基于语义检索生成智能响应。其流程包括： > > 索引构建：从支持Cloudflare R2的数据源读取文件，转换为Markdown格式（含图像视觉-语言转换）、分块并生成嵌入向量； > > 查询处理...阅读全文
如果你看过谍战片、动作片或犯罪电影，你就会在脑海中勾勒出黑客坐在电脑屏幕前的样子：一行行快速移动的代码，大量的矩阵中的十六进制数字代码像雨水一样飞过。也许有一张世界地图，上面有一些发光点和一些快速更新的图表，也许还会有三维几何图形。如果可能的话，这一切还可以显示在多个显示器上面。 当然，我们这些技术人员很快意识到这完全是胡说八道。虽然我们中的许多人都有双显示器（或更多），但闪烁的数据通常与专注于工作这一目的背道而驰。编写代码、管理项目和管理系统与股票交易不同。我们遇到的大多数情况都需要我们对试图解决的问题进行大量思考，与利益相关者进行良好的沟通，进行一些研究以及组织信息，然后还有占工作量很少的快速打字。 但这并不意味着我们不想和电影中的黑客一样。有时，我们只是想让自己看起来“有效率”。 旁...阅读全文
Gogs 是由 Go 语言编写的，自由开源的 Git 服务。Gogs 是一款无痛式自托管的 Git 服务器，能在尽可能小的硬件资源开销上搭建并运行您的私有 Git 服务器。Gogs 的网页界面和 GitHub 十分相近，且提供 MySQL、PostgreSQL 和 SQLite 数据库支持。 在本教程中，我们将使用 Gogs 在 Debian Stretch 上按步骤指导您安装和配置您的私有 Git 服务器。这篇教程中涵盖了如何在 Debian 上安装 Go 语言、PostgreSQL 和安装并且配置 Nginx 网页服务器作为 Go 应用的反向代理的细节内容。 步骤 1 - 更新和升级系统 继续之前，更新 Debian 所有的库，升级所有包。 运行下面的 apt 命令： sudo apt...阅读全文
用 proc 输入模块运行 bmon： $ bmon -i proc -p enp1s0 如何使用 bmon 输出模块 bmon 也使用输出模块显示或者导出上面输入模块收集的统计数据，输出模块包括： curses - 这是一个交互式的文本用户界面，它提供实时的网上估计以及每个属性的图形化表示。这是默认的输出模块。 ascii - 这是用于用户查看的简单可编程文本输出。它能显示网卡列表、详细计数以及图形到控制台。当 curses 库不可用时这是默认的备选输出模块。 format - 这是完全脚本化的输出模式，供其它程序使用 - 意味着我们可以在后面的脚本和程序中使用它的输出值进行分析。 null - 停用输出。 像下面这样通过 help 选项获取更多的模块信息。 $ bmon -o...阅读全文
基本概念 Prometheus 所有采集的监控数据均以指标（metric）的形式保存在内置的时间序列数据库当中（TSDB）：属于同一指标名称，同一标签集合的、有时间戳标记的数据流。除了存储的时间序列，Prometheus 还可以根据查询请求产生临时的、衍生的时间序列作为返回结果。 样本在时间序列中的每一个点称为一个样本（sample），样本由以下三部分组成： 指标（metric）：指标名称和描述当前样本特征的 labelsets； 时间戳（timestamp）：一个精确到毫秒的时间戳； 样本值（value）： 一个 folat64 的浮点型数据表示当前样本的值。
Elasticsearch 7.6.0 发布了，Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 更新内容较多，摘取部分新特性： Aggregations 新的直方图字段映射器，支持百分位数聚合 #48580 (issue: #48578)对字符串术语实施统计汇总 #47468 Analysis 实施 Lucene EstonianAnalyzer，投票 #49149 (issue: #48895) Authentication 受密码保护的密钥库 (Feature Branch) #49210 Features/ILM+SLM 等待 SLM 策略执行的 ILM 操作 #50454 (issue: #45067)添加 ILM histore 商店索引...阅读全文
近日，一位安全研究员在博客上表示发现了本田公司的云端数据库未设密码，这可能导致 1.34 亿份文档，约 40GB 数据被泄漏，其中包括机器主机名、MAC 地址、内部 IP 及操作系统版本等。在收到该研究员的提醒后，本田方面已对漏洞进行修复。 本田 1.34 亿份文档，40GB 数据险遭泄漏 根据安全研究员 Justin Paine 的说法，自 2019 年 7 月 1 日起，他就发现了本田对外暴露的 ElasticSearch 数据库未设置任何密码，内部包含大约 1.34 亿份文档，这些文档可以转换为大约 40GB 数据，而这些数据的日期最早可以追溯至 2019 年 3 月左右。 最初，Justin Paine 以为这些数据来自本田的一家经销商，但他很快否定了这一想法，因为这些文档包含了本...阅读全文
FFmpeg 3.4 已发布。FFmpeg 是用于处理音频、视频、字幕和相关元数据的多媒体内容的库和工具的合集。 库版本列表： libavutil 55. 78.100, libavcodec 57.107.100, libavformat 57. 83.100, libavdevice 57. 10.100, libavfilter 6.107.100, libavresample 3.7.0, libswscale 4.8.100, libswresample 2.9.100, libpostproc 54.7.100. 新型视频滤波器，音频滤波器，解复用器和解码器以及其他更新。 在 FFmpeg 3.4 中包含的新视频滤镜中，有 deflicker，doubleweave...阅读全文
的定制能力。ECharts 底层依托了开源渲染引擎 ZRender ，支持 Canvas 和 SVG 等多种方式的渲染，支持 PC 、移动端、数据大屏、服务端渲染等多种设备场景。 目前，在 2018 年初发布的新版本 ECharts (4) 中，一些常用图表已支持最高达千万级的数据可视化，并且提供了小程序、无障碍访问等支持。基于 WebGL 的 ECharts-GL 能支持各种 3D 图表渲染、以及海量数据的渲染加速。目前，各种基于 ECharts 的扩展库，以及相关的可视化服务系统已经形成了丰富的产品体系和活跃的社区环境。ECharts 目前在 GitHub 上拥有 25k+ 的关注和 2k+ 的相关项目。大量的社区的反馈和贡献使 ECharts 不断地迭代进化。 业内人士认为，进入...阅读全文
!版权声明：本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 目录[-] 参考地址： Nacos 官方文档 系统环境： Nacos 版本：1.4.1 Mysql 版本：8.0.19 Kubernetes 版本：1.20.1 项目示例地址： Kubernetes 中部署 Nacos 的部署文件 Kubernetes 中部署 Mysql 数据库部署文件 如果该文章对你有帮助，别忘了 Github 帮忙点颗星哦~ 一、什么是 Nacos Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。 Nacos 支持如下核心特...阅读全文
同点：不再关注于给生产环境推送单独的变更，而是关注于想要达到的状态。不再维护一步一步的工作流，而是让服务所有者使用配置来描述他们想要基础架构达到的样子：运行什么job，负载均衡器的搭建，数据库schema的位置等等。 基于这些信息，Prodspec和Annealing将这些配置转化成统一的结构，随后被执行。执行是安全并且持续性的：自动化系统重复地比较用户模型所表达的预期状态和生产环境的状态，并且在安全的时候自动触发reconciliation。服务所有者不再需要将配置变更手动推送到生产环境里。 因为我们从2015年左右就开始开发Prodspec和Annealing，基于intent的执行（intent-based actuation）这一简单明了的理念如今已经成了实际的标准。Google生产...阅读全文
tracert路由跟踪截图，和超级ping工具的测试供参考。 安徽电信路由跟踪福建联通路由跟踪浙江移动路由跟踪超级ping测试从网络工具测试数据来看，三大运营商均是走的NTT骨干网，效果还不错，从ping测试的数据来看移动和联通线路比较好，电信稍微差了一些，不过基本都能稳定在200ms内，相对优化得还是很不错了。 关于一些疑问，为什么在Vultr开了一台日本节点的VPS，显示的IP却是美国等情况？这个一般是由于很多工具的IP库没有及时更新造成，个人比较推荐使用ipip.net来进行查询，数据更加准确一些。 到此为止，目前本网站Debian社区也把数据托管在Vultr日本节点，有什么问题，大家也可以一起讨论讨论。 点击这里注册，并输入优惠码SSDVPS可获得20$...阅读全文
。 TypeScript：TypeScript是JavaScript的超集，它可以增加类型检查、接口声明等特性，减少错误和提高可读性。 NestJS：NestJS是一种流行的Node.js框架，它采用面向对象的编程方式，提供了路由、中间件、模块化等丰富的功能。 GraphQL：GraphQL是一款优秀的数据查询和操作语言，它可以帮助我们快速构建API，并减少网络传输的数据量。 功能设计 我们将开发一个电商平台，包含以下主要功能： 用户管理：用户可以注册、登录、修改个人信息等，管理员可以查看用户列表并进行管理。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 购物车：用户可以将商品加入购物车，并在结算时进行支付。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文
％ – 50％ 没有太多查询，平均负载的 磁盘 I / O<1％ 它也能够适应未来几年现代计算环境日益增长的动态特性。 过时处理 另外，Prometheus 也发生了一些大大小小的变化，使其更加一致和直观。最值得注意的是 过时处理 ，这是最古老的路线图项目之一。随着新的改进，从这些目标中消失的监控目标或系列现在被明确地跟踪，这减少了人为因素的查询和提高警报响应。 其他改进 Prometheus 2.0 还内置支持 整个数据库的快照备份 。 完整更新内容请查看 发布主页 。 下载地址：https://prometheus.io/download/#prometheus...阅读全文
过程，数据库连接获取等，通常来说这类节点在链路详情主视图中的意义不大，因此我们对这类节点的产生逻辑进行了优化调整，使得整个链路主体结构聚焦于“跨端”，同时，对部分核心组件关键内部方法细节做了增强，以“事件”的形式挂载于它们的父节点上，便于更细粒度的排查： RPC调用关键内部事件 DB 调用连接获取事件 4.4.4 profiling 的支持 1）线程栈分析的集成。通过集成 Arthas 这类工具，可以很方便地查看某个实例线程的实时堆栈信息，同时对采样间隔做控制，避免频繁抓取影响业务自身性能。 2）通过集成 pyroscope，打通高延迟性能排查最后一公里。Pyroscope 对 async profiler 做了二次开发，同时也支持 Otel 去集成，但截至目前，官方并没有实现完整的...阅读全文
框架 Omi 内置 observe 制作响应式视图(免去 this.update) Web Components 也可以数据驱动视图, UI = fn(data) JSX 是开发体验最棒(智能提示)、语法噪音最少、图灵完备的 UI 表达式，模板引擎不完备，模板字符串完备但是语法噪音太大 独创的 Path Updating 机制，基于 Proxy 全自动化的精准更新，功耗低，自由度高，性能卓越，方便集成 requestIdleCallback 对 this.update 说再见吧！只要使用 store 系统，它就会自动化按需更新局部视图 看看Facebook React 和 Web Components对比优势，Omi 融合了各自的优点，而且给开发者自由的选择喜爱的方式 Shadow DOM...阅读全文
SQL审核是保证数据库 DDL 和 DML 安全使用、SQL变更可追溯、降低线上数据事故概率的重要手段。去哪儿网开源的 Inception 工具有较大的使用基础，提供了相对完善的 API 接口，结合一些外层的操作界面，可以实现SQL审核、执行、备份和恢复功能，为DBA操作利器。本文详细介绍如何配置 Inception 和 Yearning 的整合。 Inception Inception是一个自动化运维工具，在Mysql前做一个审核和操作的屏障。跟Inception的交互是程序级别的，即通过Python或其他程序编程实现对Inception的命令调用，并解析结果。 Inception的文档地址：http://mysql-inception.github.io/inception...阅读全文
以同时管理多个 Kubernetes 集群，更方便地管理多个集群。 丰富的权限管理 ：将资源抽象化为部门、项目级别，角色的权限可以更细化的控制，适用于多部门、多项目的统一集中管理。 多种登录模式 ：支持企业级 LDAP 登录、支持 OAuth2 登录，支持数据库登录多种模式。 完备的审计 ：所有操作都会有完整的审计功能，方便追踪操作历史。 开放平台 ：支持 APIKey 开放平台，用户可自主申请相关 APIKey 并管理自己的项目。 多层次监控 ：提供多级别的监控统计信息，实时关注集群的运行状态。 架构图 整体采用前后端分离的方案： 前端采用 Angular 框架进行数据交互和展示，使用 Ace 编辑器进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理，使用...阅读全文
接口。以这种方式合并多个接口的数据： $ vnstat -i wlan0+eth0+eth1 你可以通过以下几种方式过滤显示： -h 以小时显示统计数据。 -d 以天数显示统计数据。 -w 和 -m 按周和月显示统计数据。 使用 -l 选项查看实时更新。 此命令删除 wlan1 的数据库，并停止监控它： $ vnstat -i wlan1 --delete 此命令为网络接口创建别名。此例使用 Ubuntu 16.04 中的一个奇怪的接口名称： $ vnstat -u -i enp0s25 --nick eth0 默认情况下，vnstat 监视 eth0。你可以在 /etc/vnstat.conf 中更改此内容，或在主目录中创建自己的个人配置文件。请参见 man vnstat 以获得完整的参考...阅读全文
SwitchHosts 是一个用于快速切换本地 hosts 文件的小程序，便于开发人员快速修改测试域名的解析记录。SwitchHosts 基于 Electron 开发，同时使用了 React、Ant Design 以及 CodeMirror 等框架/库，项目主页为 https://oldj.github.io/SwitchHosts/。 SwitchHosts 主界面 SwitchHosts 功能特性 快速切换本地 hosts 文件hosts 文件语法高亮在线 hosts 方案系统托盘图标快速切换macOS: 支持 Alfred workflow 快速切换 下载安装 switchhosts 你可以直接下载源码到本地运行或编辑，或者在下面下载可执行版本： SwitchHosts! 下载地址1...阅读全文
Icinga Web 2 是 Icinga 项目开发的下一代开源监控 Web 接口、框架和命令行接口，支持 Icinga 2、Icinga Core 和与 IDO 数据库兼容的任何其他监控后端。 Icinga’s Amazingness Spreads Further 增加日语支持增加乌克兰语支持不再配置中翻译 pane 和 dashlet name Modules – 其他功能 无论您是否想要连接到配置表单的处理中，都可以执行自己的 Ajax 请求，或者使用花哨的图形增强我们的多选择视图。 允许连接到配置窗体的处理中允许完全自定义单击和提交处理将 Detailview 扩展集成到多选择视图中 UI——日常例程和事件管理、增强 添加色盲主题改善表格的外观使 ctrl-click 打开新选项...阅读全文
核2.6.13或更高版本 Python 2.4或更高版本 如何在Linux中安装Pyinotify 首先检查系统上安装的内核和Python版本，如下所示： # uname -r # python -V 一旦满足依赖关系，我们将使用pip来安装pynotify 。 在大多数Linux发行版中，如果您使用从python.org下载的Python 2> = 2.7.9或Python 3> = 3.4二进制文件， Pip已经安装，否则安装如下： # apt-get install python-pip 现在，像这样安装pyinotify： # pip install pyinotify 它将从默认存储库安装可用版本，如果您希望具有最新的稳定版本的pyinotify ，请考虑将其克隆为git仓库，如图...阅读全文
。它使用其他输入流（例如容器运行时度量标准和Kubernetes度量标准）丰富了收集的数据，并允许连续监视和检测容器，应用程序，主机和网络活动。 5：Katran Katran是一个C ++库和eBPF程序，用于构建高性能的第4层负载平衡转发平面。 Katran利用Linux内核中的XDP基础结构来提供用于快速数据包处理的内核功能。它的性能与NIC接收队列的数量成线性比例，并且使用RSS友好的封装转发到L7负载平衡器。 6：Sysdig Sysdig是提供深层系统可见性的简单工具，并具有对容器的原生支持。 其他基于eBPF技术的项目还有很多，比如kubectl-trace ，ply 等，这里不再赘述。 如何编写一个eBPF程序？ 在很多情况下，不是直接使用eBPF，而是通过Cilium，bcc...阅读全文
apt-offline.sig 示例输出如下： Generating database of files that are needed for an update. Generating database of file that are needed for operation upgrade 默认条件下，apt-offline 将会生成需要更新和升级的相关文件的数据库。你可以使用 --update 或者 --upgrade 选项相应创建。 拷贝完整的 tmp 目录到你的 USB 驱动器或者或者外接硬盘上，然后换到你的在线操作系统（有网络链接的操作系统）。 在在线系统上的操作 插入你的 USB 驱动器然后进入 tmp 文件夹： cd tmp/ 然后，运行如下命令： sudo apt...阅读全文
用 vim 打开， cd $GOPATH/src/github.com/gogits/gogs mkdir -p custom/conf/ cp conf/app.ini custom/conf/app.ini vim custom/conf/app.ini 在 [server] 小节中，修改 HOST_ADDR 为 127.0.0.1。 [server] PROTOCOL = http DOMAIN = localhost ROOT_URL = %(PROTOCOL)s://%(DOMAIN)s:%(HTTP_PORT)s/ HTTP_ADDR = 127.0.0.1 HTTP_PORT = 3000 在 [database] 选项中，按照您的数据库信息修改。 [database...阅读全文
经被细分成为组件。要安装整个软件栈，可以安装 mailman3-full 来获取所有组件。 已有的 Postgresql 数据库都需要重新索引 由于 glibc 本地数据的更新，放入文本索引中的信息排序的方式将会改变，因为重新索引是有益的，这样在将来就不会有数据破坏发生。 默认 Bash 5.0 你可能已经了解了 Bash 5.0 的新特点 ，在 Debian 中已经是该版本了。 实现了 /usr/merge 我们已经分享过一个优秀的 freedesktop 读物 ，介绍了 /usr/merge 带来了什么。有一些事项需要注意。当 Debian 想要整个过渡时，可能由于未预见的情况，一些二进制文件可能并没有做这些改变。需要指出的一点是，/var 和 /etc 不会被触及，因此使用容器或者云技...阅读全文
FreeBSD 11.1 正式版发布了。FreeBSD是类UNIX操作系统，它基于加州伯克利大学的“4.4BSD-Lite”发行并带有一些“4.4BSD-Lite2”增强，面向i386、amd64、IA-64、arm、MIPS、powerpc、ppc64、PC-98、UltraSPARC等平台。它还间接地基于“386BSD”，此乃William Jolitz对加州伯克利大学的 “Net/2” 往 i386 系统上的移植，尽管如今只有极少的代码保留下来。FreeBSD 被全世界的公司、因特网服务提供商、科研人员、计算机专家、学生、家庭用户等用于他们的工作、教育、娱乐中。 FreeBSD带有20000多个软件包，它们是预编译和打包好了、便于安装的软件，并覆盖了广阔的应用领域：服务器软件、数据库...阅读全文
。通过把来自不同列的数据关联起来，查询规划器（query planner）现在可以避免一些边缘情况，在那些边缘情况下，之前的Postgres版本会认为WHERE语句更强的选择性，并且会导致选择了错误计划从而拖慢执行时间。Postgres的这个改进在整个SQL世界中都是极具创新性的。 Postgres 10还对并行性进行了改进。开发者现在可以使用索引扫描（index scans）和仅索引扫描（index-only scans）、并行合并连接（merge joint）以及位图堆扫描。并行查询是通过不同的workers来实现的，因此在某些情况下，设置和分解的成本会超过并行化的好处。默认情况下，可以在大于8MB大小的表以及大于512KB的索引上启用并行表扫描（parallel table scan...阅读全文
Nick Ter... 2 1 10 月数据库排行榜：Snowflake 上升三名；三巨头分数同比下降最多 DB-Engines 10 月份流行度排行已更新（基于 9 月份的整体数据变化）。 排名前十的数据库和上个月的保持一致，分别是 Oracle、MySQL、Microsoft SQL Server、PostgreSQL、MongoDB、Redis、IBM Db2、Elasticsearch、SQLite 和 Cassandra。分数方面，只有 MySQL 和 PostgreSQL 出现了明显的增长，分别增加了 7.24 和 9.47 分... 5 5 Python 3.11 Alpha 解释器现已登陆 Microsoft Store 自从微软逐步开放 Microsoft Store，不再限制开...阅读全文
Apache 软件基金会宣布 Apache Superset 成为顶级项目 (Top-Level Project, TLP)。 Apache Superset 是一款现代化的开源数据工具，用于数据探索和数据可视化。它提供了简单易用的无代码可视化构建器和声称是最先进的 SQL 编辑器，用户可以使用这些工具快速地构建数据仪表盘。 Apache Superset 将 SQL IDE、数据浏览工具、拖拽式仪表板编辑器和插件组合使用，以构建自定义的可视化效果，支持从许多关系数据库和非关系数据库中创建仪表板，这些数据库包括 SQLite、MySQL，以及 ClickHouse、Google BigQuery、Snowflake、Oracle 数据库、IBM DB2 和其他各种兼容的数据源，并且可以连接...阅读全文
TimescaleDB 1.0 正式发布了，开发团队表示，自 9 月分宣布第一个候选版本以来，Timescale 的工程师团队合并了 50 多个 PR，以加强数据库，提高稳定性和易用性。 今天，TimescaleDB 1.0 宣布正式推出，官方表示该版本已可用于生产环境，是首个支持完整 SQL 和扩展的企业级时序数据库。TimescaleDB 是基于 PostgreSQL 数据库开发的一款时序数据库，以插件化的形式打包提供，随着 PostgreSQL 的版本升级而升级，不会因为另立分支带来麻烦。 TimescaleDB 架构 数据自动按时间和空间分片 (chunk) 更新亮点： 更广泛的可用性改进 后台作业自动化和调度的基础 增强了数据库强化和测试 构建开源监控堆栈：对 Grafana 和...阅读全文
”、“简单存储服务”等数据存储业务，再加上保存和提取数据的”关系数据库服务”和数据迁移费，这占到了亚马逊云计算的七成收入。不过在今天，亚马逊更加注重更复杂的高级云计算功能，它们不仅利润率高，而且让企业客户切换服务商的成本更高。比如在五月份，塞林普斯基在Twitter上介绍了一个新服务“应用运行器”（App Runner），可以在虚拟容器中部署应用软件，这可以让企业用户把精力集中在业务构建上，而不是管理“容器”或是“基础设施”。美国贝尔斯登研究公司六月份发布的一份报告指出，2015年，亚马逊云计算14%的收入来自于高毛利的“平台即服务”云计算产品，其余来自于低端的“基础设施即服务”产品。但是贝尔斯登认为，在去年上半年，平台即服务的收入占比已经提高到了18%。美国科技业人士乔·金塞拉（Joe...阅读全文
对于 Python 开发者来说，web 开发框架真可谓玲琅满目。然而 Django , 毋庸置疑的成为最受青睐的 web 框架。通过本篇博客，我来为大家讲解下为什么相比 Flask、Pyramid、Tornado、Bottle、Diesel、Pecan、Falcon 这些流行的 Python web 框架，Python 开发者更倾向于选择 Django。 再大肆宣扬Django之前，让我们简单了解一下web框架 Web框架是一个代码库，使开发人员更容易构建动态网站、Web应用程序和Web服务。 众所周知的是，每个网站都有一些通用的功能（如处理会话，数据验证等等），一些您每次创建网站时都需要编写的功能。 这使开发任务平淡乏味。 然而，使用Web框架可以让您每次创建网站都需要重新编写通用功能代...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
Django 调用运行单个事件循环，以使异步处理层与同步服务器兼容。 在这个改造的过程中，每个特性都会经历以下三个实现阶段： Sync-only，只支持同步，也就是当前的情况Sync-native，原生同步，同时带有异步封装器Async-native，原生异步，同时带同步封装器 Django 3.0 开始提供运行 ASGI 应用支持，让 Django 逐渐具备异步功能。做了这一改动后，Django 现在会感知到异步事件循环，并将阻止从异步上下文调用标记为“异步不安全”的代码（例如 ORM 操作），如果开发者之前使用的是异步代码，则可能会触发。如果看到 SynchronousOnlyOperation 错误，可以仔细检查代码并将数据库操作移到同步子线程中。 其它方面，Django 现在支持...阅读全文
MongoDB 4.2 正式发布了，MongoDB Server 4.2 提高了现代事务和分析数据平台的技术水平。 Mongodb-4.2 的主要改动包括： 分布式事务将 MongoDB 的多文档 ACID 从副本集扩展到共享集群，能够为更广泛的用例服务按需物化视图使用新的 $Merge 运算符，在集合中缓存大型聚合的输出是一种常见的模式，新的 $Merge 运算符将可以有效地更新这些结果，而不是完全重新计算它们通配符索引使建模像产品目录这样的高度异构的集合变得简单和自然，而不牺牲对索引的支持。只需定义一个过滤器，它将自动索引集合中所有匹配的字段、子文档和数组MongoDB 查询语言增强功能，如更有表现力的更新、新的数学运算符和扩展的 regex 支持。此版本的 update 和...阅读全文
是在不同的机器，同一机 器对同一个分区也只可能存放一个副本（包括自己）。 Consumer：消费者，即消息的消费方，是消息的出口。 Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分 区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个 topic的不同分区的数据，这也是为了提高kafka的吞吐量！ 2.1.2. ⼯作流程 我们看上⾯的架构图中，producer就是生产者，是数据的入口。Producer在写入数据的时候会把数据 写入到leader中，不会直接将数据写入follower！那leader怎么找呢？写入的流程又是什么样的呢？我 们看下图： 1.⽣产者从Kafka集群获取分区leader信息 2.⽣产者将消息发...阅读全文
Prometheus已成为cloud-native世界中的默认监控应用程序和系统。对于真是使用案例，Prometheus应该是高可用的，这是有挑战的。一旦在高可用性模式下运行Prometheus，就会遇到很多问题，例如数据重复，为重复数据实现single pane等。为了解决此问题，Cortex诞生了。Cortex是一个CNCF sandbox project，旨在为使用Prometheus 收集的指标提供长期存储和全局指标视图。首先让我们看一下Cortex的主要目标，然后看一下它为Prometheus解决的一些问题。水平可伸缩性– Cortex可以分成多个微服务，每个微服务都可以独立地水平伸缩。例如，如果许多Prometheus实例正在向Cortex发送数据，则可以扩展Ingester微...阅读全文
Gitlab 官方 宣布 ，将从 12.1 版本开始不再支持 MySQL 数据库。早在 2017 年 7 月，Gitlab 就计划将弃用对 MySQL 的支持。而目前这个决定将从 12.1 版本开始。 官方列出几个 MySQL 不能满足 Gitlab 需求的地方： 无法支持嵌套分组查询（详情）必须使用黑科技来提升 MySQL 对列的限制，这将导致 MySQL 拒绝存储数据MySQL 无法添加 TEXT 类型字段的长度限制MySQL 不支持分区索引还有类似 Geo 为了解决上面这些问题，Gitlab 创建了许多专门针对 MySQL 的代码。 在某些情况下，这导致合并请求的复杂性要高一倍，因为它们必须支持第二个数据库后端。 创建和维护这些代码会消耗我们的循环时间和速度，并且会降低我们的迭代值...阅读全文
Radeon HD 7000 系列图形卡和其他精选 GCN 1.0 / 1.1 产品的用户可以使用 “amdgpu.cik_support = 1 amdgpu.si_support = 1 radeon.cik_support = 0 radeon.si_support = 0” 启动其内核，以使用 AMDGPU 内核默认情况下，该驱动程序也意味着需要 Vulkan 支持，可能的性能改进以及仅享受更现代的代码库。 4.树莓派 VC4 支持 对树莓派 VC4 的支持已经并入到 mainline 内核中。终于添加了对树莓派 4 的图形显示支持，而且 Mesa 20.3 为树莓派4提供了 V3DV Vulkan 驱动支持。 5. 带有UMIP（用户模式指令防护）的SLDT和STR指令仿真 这个简单的解释是...阅读全文
11 月 1 日，开源数据库 MariaDB 在官网正式宣布已完成由阿里巴巴领投的 C 轮 2700 万美元的融资。融资完成后，MariaDB 将具备更强的实力参与数据库竞争。阿里巴巴集团旗下云计算部门阿里云已在今年 3 月成为 MariaDB 白金赞助商，双方后续将继续合作，为云端和新兴用例提供新的解决方案。 MariaDB 公司创始人 Michael Wideneus 表示：“ MariaDB 获得本轮融资，得益于基于我们为下一代应用而推出的一整套完备的数据基础应用功能建设。同时，在发布基于人工智能的，面向云和自动化的新一代解决方案之后，这轮融资将使得 MariaDB 未来得以高速发展。” 阿里云副总裁李津也表示：“ MariaDB 正在成为企业级开源数据库的标准。我们相信，在开源社区...阅读全文
下图），帮助快速定位到代码级别问题。四、应用/Pod 状态问题Pod 负责管理容器，容器是真正执行业务逻辑的载体。同时 Pod 是 Kubernetes 调度的最小单元，所以 Pod 同时拥有了业务和基础设施的复杂度，需要结合着日志、链路、系统指标、下游服务指标综合来看。Pod 流量问题是生产环境高频问题，比如数据库流量陡增，当环境中有成千上万个 Pod 时，排查流量主要来自哪个 Pod 就显得特别困难。接下来我们看一个典型的案例：下游服务在发布过程中灰度了一个 Pod，该 Pod 因代码原因响应非常慢，导致上游都超时了。之所以能做到 Pod 级别的可观测，是因为我们用 ebpf 的技术来采集 Pod 的流量、黄金指标，因此可以通过拓扑、大盘的方式方便地查看 Pod 与 Pod、Pod...阅读全文
Grafana 6.3.3 发布了，Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新主要是 Bug修复，具体如下： Annotations：修复取消时间序列查询时，失败的注释查询 #18532Auth：如果 cookie_samesite 为 none，请不要设置 SameSite cookie 属性 #18462DataLinks：正确地将范围变量应用于数据链接 #18454DataLinks：在图形上下文菜单中显示数据点的时间戳时，遵守时区 #18461DataLinks：插值变量时，正确使用数据点时间戳 #18459Explore：修复空...阅读全文
和强大性，更重要的是它的框架(MSF)。它允许使用者开发自己的漏洞脚本，从而进行测试。 之所以称为框架，因为 MSF 本身包含了很多漏洞攻击模块，由一群开发者在进行维护和更新，更重要的是几乎每个 CVE 漏洞都会被添加到 MSF 里，有人称之为是“可以黑掉整个宇宙”的渗透测试框架。 这个强大的框架日前已发布最新的 5.0 版本。这是 Metasploit 团队在过去一年中的工作成果。此外，该版本还是自2011年以来 Metasploit 的第一个主要版本。Metasploit 5.0 带来了许多新功能，以及新的发布周期。 其中官方特别提到 Metasploit 5.0 使用了新的数据库，并提供了一种新的数据服务。新版本引入了新的规避机制(evasion capabilities)，支持多项语...阅读全文
, ctrip apollo, disconf, hawk 等配置中心的功能点。综合比较下来携程apollo 更具有优势。 二、简单介绍携程Apollo配置中心 1、What is Apollo 1.1 背景 随着程序功能的日益复杂，程序的配置日益增多：各种功能的开关、参数的配置、服务器的地址…… 对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制…… 在这样的大环境下，传统的通过配置文件、数据库等方式已经越来越无法满足开发人员对配置管理的需求。 Apollo配置中心应运而生！ 1.2 Apollo简介 Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范...阅读全文
