Pyinotify 是一个简单而实用的 Python 模块，它用于通过 inotify 实时监控Linux文件系统的更改。用于在Linux中实时监控文件系统的变化。 作为系统管理员，您可以使用它来监视目标感兴趣的更改，如Web目录或应用程序数据存储目录及其他目录。这取决于inotify （包含在 2.6.13及后续Linux内核中的功能），它是一个事件驱动的通知程序，其通知通过三个系统调用从内核空间导出到用户空间。 pyinotiy的目的是绑定三个系统调用，并支持其上的实现，提供了一个共同和抽象的手段来操纵这些功能。 在本文中，我们将向您展示如何在Linux中安装和使用pyinotify来实时监控文件系统更改或修改。 依赖关系 为了使用pyinotify ，您的系统必须运行： Linux内...阅读全文
osquery 是 SQL 驱动的分析和监控操作系统的工具，是操作系统分析框架，支持 OS X 和 Linux 系统。osquery 能帮助监控和分析低水平的操作系统，提供更直观的性能监控。 4.1.0 版本内容如下： New Features / Under the Hood improvements 还原扩展 SDK 和构建支持改进文档在整个代码库中添加更多的测试允许使用标志配置更多 Linux Audit 设置添加 logger_tls_max_lines 标志添加对 AWS Session Token 支持 Build 在所有平台上将 OpenSSL 升级到 1.0.2t在 Windows 和 MacOS 上使用 SQLite 3.29.0在 Windows 和 MacOS 上使用...阅读全文
一、0xcc开篇 2020年3月，得物技术团队在三个月的时间内完成了整个交易体系的重构，交付了五彩石项目，业务系统也进入了微服务时代。系统服务拆分之后，虽然每个服务都会有不同的团队各司其职，但服务之间的依赖也变得复杂，对服务治理等相关的基础建设要求也更高。 对服务进行监控是服务治理、稳定性建设中的一个重要的环节，它能帮助提早发现问题，预估系统水位，以及对故障进行分析等等。从 2019 年末到现在，得物的应用服务监控系统经历了三大演进阶段，如今，整个得物的应用微服务监控体系已经全面融入云原生可观测性技术 OpenTelemetry。 回顾过去十年间，应用服务监控行业的竞争也很激烈，相关产品如雨后春笋般涌现，如推特在 2012 年开源的 Zipkin，韩国最大的搜索引擎和门户网站 Naver...阅读全文
服务监控系统 Prometheus 2.0 已发布，Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。 Prometheus 2.0 有一个简单而强大的运营模式。然而，基础设施领域也没有停滞不前，像 Kubernetes 和 Mesos 这样的项目正在迅速改变软件的部署和管理方式。受监控的环境变得越来越活跃。 存储 Prometheus 2.0 有性能显着提高，几乎在所有方面都有所改进。查询延迟更加一致，特别是在高系列流失的情况下，它的规模更大。在不同的现实世界生产情景下测量的资源消耗也显着下降： 与 Prometheus1.8 相比，CPU 使用率 降低了 20％ – 40％ 与普 Prometheus1.8 相比， 磁盘空间使用率 降低了 33...阅读全文
Monit是一个跨平台的用来监控Unix/linux系统（比如Linux、BSD、OSX、Solaris）的工具。Monit特别易于安装，而且非常轻量级（只有500KB大小），并且不依赖任何第三方程序、插件或者库。 Monit可以监控服务器进程状态、HTTP/TCP状态码、服务器资源变化、文件系统变动等等，根据这些变化，可以设定邮件报警、重启进程或服务。易于安装、轻量级的实现以及强大的功能，让Monit成为一个理想的后备监控工具。 官网：https://mmonit.com/monit文档：https://mmonit.com/monit/documentation/monit.html最新版本：https://mmonit.com/monit/dist/monit-5.20.0...阅读全文
Kong 发布了新的开源项目 Kuma，一个通用的现代服务网格控制平面。Kuma 基于 Envoy 构建，Envoy 是一个为云原生应用设计的强大的代理软件。Envoy 是业内最领先的边车代理；而随着监控、安全和可靠性对大规模微服务应用变得更加重要，服务网格也在成为云原生生态系统的重要组成部分。 “看到技术社区快速地接纳 Envoy 让我非常高兴；同时我也对 Kong 的 ‘Kuma’ 项目充满期待。” Envoy 的创始人 Matt Klein 表示，“Kuma 扩展了 Envoy 的使用场景，使得企业在服务网格中创建云原生应用更加快速，更加便捷。” Kuma 解决了第一代服务网格技术中的缺陷，使得无缝管理网络中包括四层和七层流量、微服务和 API 在内的任意服务成为可能。Kuma 高效...阅读全文
bmon 是类 Unix 系统中一个基于文本，简单但非常强大的 网络监视和调试工具，它能抓取网络相关统计信息并把它们以用户友好的格式展现出来。它是一个可靠高效的带宽监视和网速估测工具。 它能使用各种输入模块读取输入，并以各种输出模式显示输出，包括交互式文本用户界面和用于脚本编写的可编程文本输出。 在 Linux 上安装 bmon 带宽监视工具 几乎所有 Linux 发行版的默认仓库中都有 bmon 软件包，可以从默认包管理器中轻松安装，但可用的版本可能比较旧。 $ sudo yum install bmon [On RHEL/CentOS/Fedora] $ sudo dnf install bmon [On Fedora 22+] $ sudo apt-get install bmon...阅读全文
服务监控系统 Prometheus 2.13.0-rc.0 发布了，Prometheus 是一个 Go 语言开发的开源的服务监控系统和时间序列数据库。该版本引入了一些新特性，比如记录其他组件、增强功能和修复 bug，这些都是为了提高可用性。 更新内容如下： [SECURITY/BUGFIX] UI：修复了一个 Stored DOM XSS 漏洞 CVE-2019-10215. #6098[CHANGE] Metrics：将 prometheus_sd_configs_failed_total 重命名为 prometheus_sd_failed_configs，并更改为仪表 #5254[ENHANCEMENT] 在构建中包含 tsdb 工具 #6089[ENHANCEMENT...阅读全文
前言 Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件，还有 kubeconfig 文件。 如果证书过期，轻则无法登录 Kubernetes 集群，重则整个集群异常。 为了解决证书过期的问题，一般有以下几种方式： 大幅延长证书有效期，短则 10年，长则 100 年； 证书快过期是自动轮换，如 Rancher 的 K3s，RKE2 就采用这种方式； 增加证书过期的监控，便于提早发现证书过期问题并人工介入 本次主要介绍关于 Kubernetes 集群证书过期的监控，这里提供 3 种监控方案： 使用 Blackbox Exporter 通过 Probe 监控 Kubernetes apiserver 证书过期时间； 使...阅读全文
束使用 Deployment、DaemonSet、ReplicaSet 或者 StatefulSet 跨节点部署 Pod使用多节点使用基于角色的访问控制（RBAC）在外部托管Kubernetes集群（使用云服务）升级Kubernetes版本监控集群资源和审计策略日志使用版本控制系统使用基于Git的工作流程（GitOps）缩小容器的大小用标签整理对象（译者注：或理解为资源）使用网络策略使用防火墙使用命名空间K8s 中的命名空间对于组织对象、在集群中创建逻辑分区以及安全方面的考虑至关重要。 默认情况下，K8s 集群中有 3 个命名空间，default、kube-public 和 kube-system。RBAC 可用于控制对特定命名空间的访问，以限制组的访问以控制可能发生的任何错误的爆炸半径，例...阅读全文
在2018年的 Linux Plumber 大会上，eBPF成了亮点，有24个议题提到了 eBPF，可以预计eBPF会成为一大技术热点。 eBPF(Extended Berkeley Packet Filter) 的核心是驻留在 kernel 的高效虚拟机。最初的目的是高效网络过滤框架，前身是 BPF。 Linux kernel 3.18版本开始包含了eBPF，相对于 BPF 做了一些重要改进，首先是效率，这要归功于 JIB 编译 eBPF 代码；其次是应用范围，从网络报文扩展到一般事件处理；最后不再使用socket，使用map进行高效的数据存储。 根据以上的改进，内核开发人员在不到两年半的事件，做出了包括网络监控、限速和系统监控。目前eBPF可以分解为三个过程： 以字节码的形式创建...阅读全文
Cygwin，而且一开始很难理解其报告。Samhain日志默认情况下位于/ var / log ，默认情况下用于XML编写（使用./configure –enable–xml-log 命令对其进行配置）。Samhain包括日志文件旋转和锁定功能。它有助于记录SQL数据库，控制台，电子邮件，系统日志，Prelude IDS等。5.安全洋葱Security Onion是由Doug Burks设计和维护的基于Linux的免费开源入侵检测系统。该项目由三个组件组成：完整的数据包捕获功能，将基于主机的事件与基于网络的事件相关联的入侵检测系统，以及许多其他工具集，包括Snort，Bro，Sguil，Suricata和许多其他实用程序。安全洋葱不只是入侵检测系统。归根结底，如果您想在几分钟之内轻松地建立网络安全监控...阅读全文
BFQ I / O调度程序的性能改进。 Linux Kernel 5.2还为cgroups v2添加了一个冷冻控制器以释放资源，部署了新设备隐射“dust”目标来模拟读取失败或者扇区失败的设备，为 clone(2)添加了CLONE_PIDFD这个Flag从而在创建进程时候获取PID，能够通过pidfd_send_signal(2)使用，并在Android系统中提供了更高的资源监控。 在安全方面，Linux Kernel 5.2附带了一个全新的CPU BUG框架，用于保护设备免受英特尔MDS（微架构数据采样）硬件漏洞的影响，同时还有一个名为“mitigations=”独立于架构的启动选项，以便更容易启用或禁用缓解CPU缺陷。 Linux内核5.2还包括许多更新的和新的驱动程序，以获得更好的硬件支持...阅读全文
能够统一面向多个接入口进行自动化操作的定义与管理。 在本次峰会之前，红帽的 Linux发行版RHEL OpenStack发行版RDO OpenShift（Kubernetes） 存储产品Cepht与Gluster 已经与Ansible集成。本次峰会上，红帽又发布了Red Hat Insights（红帽的监控预警产品）和CloudForms与Ansible的集成。 为什么是Ansible？ 其中一个很重要的原因在于，Ansible连不懂技术的业务人员也可以拿来用。甚至可以这么说：任何一个能够阅读英文的人都能看懂Ansible Playbook的用法。红帽认为Ansible代表了自动化的未来，在此投入了大量研发力量与资源。 2、Red Hat Insights作为统一的数据分析层 Red Hat...阅读全文
Rancher是一个开源项目为Docker容器环境提供了较完善的管理平台。Rancher 允许我们在大规模生产环境中使用 Docker。 Rancher 提供模块化基础架构服务，如多主机网络、全局和本地负载平衡、监控、恢复和卷快照等。本文我们将介绍如何在Debian 9 Stretch 上安装配置 Rancher。 安装要求 运行Debian 9的服务器。 具有sudo权限的非root用户。 开始 在开始之前，建议将您的APT存储库更新为最新版本。 您可以使用以下命令执行此操作。 sudo apt-get update -y sudo apt-get upgrade -y 接下来，可以重新启动系统以应用所有更改。然后使用以下命令安装所需的软件包： sudo apt-get install...阅读全文
Label、Namespace 等概念非常适合用来构建上下文信息。3、繁多监测系统，造成监测界面不一致复杂系统带来的一个严重副作用就是监测系统繁多。数据链路不关联、不统一，监测界面体验不一致。很多运维同学或许大多都有过这样的体验：定位问题时浏览器打开几十个窗口，在 Grafana、控制台、日志等各种工具之间来回切换，不仅非常耗时巨大，且大脑能处理的信息有限，问题定位效率低下。如果有统一的可观测性界面，数据和信息得到有效地组织，减少注意力分散和页面切换，来提高问题定位效率，把宝贵时间投入到业务逻辑的构建上去。二、解决思路与技术方案为了解决上述问题，我们需要使用一种支持多语言，多通信协议的技术，并在产品层面尽可能覆盖软件栈端到端的可观测性需求，通过调研，我们提出一种立足于容器界面和底层操作系统，向上关联...阅读全文
Debian 系统安装以后，可能会遇到网卡设备名不是常见的 eth0 的情况。我们有没有办法统一网卡设备名称呢？ 在服务器环境中，统一网卡设备名是很有必要的。标准化的配置会节省我们大量的时间，这些时间可能会花在排障、监控的配置、状态收集脚本的调整等。 这里我们介绍如何把 Debian 系统中的网卡从非 eth0，调整为 eth0，这个设备名是各 Linux 系统中比较通用的网卡设备名。下面我们以设备名 ens3 为例，介绍在Debian 系统中，如何修改网卡设备名为 eth0 的具体步骤。 首选，我们需要编辑 grub 的配置文件，修改启动参数。使用编辑器打开 /etc/default/grub， 查找： GRUB_CMDLINE_LINUX="" 找到这行，并修改为...阅读全文
这两天开源配置管理工具 saltstack 爆出了CVSS得分为10分的漏洞。如果你对CVSS的评分没有概念，那么前几年震惊互联网的 openssl心脏滴血漏洞，CVSS base评分是5.0，由此可知这次爆出来的 saltsatck 漏洞是多么严重。 漏洞信息： 该漏洞是 F-secure 研究人员在3月份发现的，目前该漏洞已经在最新版本中修复。本次极高危漏洞，是由两个不同的漏洞引起的，一个是身份验证绕过漏洞 CVE-2020-11651，一个是目录遍历漏洞没有过滤掉不受信任的输入 CVE-2020-11652，从而导致攻击者可以不受限制的访问 salt-master 的整个文件系统。 攻击者获取salt-master的权限后，便可以控制整个被salt-master管理的数据中心的各主机...阅读全文
的 Sidecar 支持（不包含 iptables）添加了为 sidecar Envoys 配置 DNS 刷新速率 的功能，以减少 DNS 服务器上的负载Graduated Sidecar API from Alpha to Alpha API and Beta runtime. 详细内容请查看发布公告。 源码下载地址：https://github.com/istio/istio/releases/tag/1.2.0 Istio 是一个由谷歌、IBM 与 Lyft 共同开发的开源项目，旨在提供一种统一化的微服务连接、安全保障、管理与监控方式。 Istio 项目能够为微服务架构提供流量管理机制，同时亦为其它增值功能（包括安全性、监控、路由、连接管理与策略等）创造了基础。这款软件利用久经考验的...阅读全文
接口。以这种方式合并多个接口的数据： $ vnstat -i wlan0+eth0+eth1 你可以通过以下几种方式过滤显示： -h 以小时显示统计数据。 -d 以天数显示统计数据。 -w 和 -m 按周和月显示统计数据。 使用 -l 选项查看实时更新。 此命令删除 wlan1 的数据库，并停止监控它： $ vnstat -i wlan1 --delete 此命令为网络接口创建别名。此例使用 Ubuntu 16.04 中的一个奇怪的接口名称： $ vnstat -u -i enp0s25 --nick eth0 默认情况下，vnstat 监视 eth0。你可以在 /etc/vnstat.conf 中更改此内容，或在主目录中创建自己的个人配置文件。请参见 man vnstat 以获得完整的参考...阅读全文
题。 Cgroup2：https://facebookmicrosites.github.io/cgroup2/ Cgroup2 是下一代 Linux 内核机制，用于分组和构造工作负载，以及控制分配给每个组的系统资源量。它具有内存、I/O、中央处理单元等控制器，它还允许隔离工作负载，并为每个工作负载确定资源分配的优先级和配置。 PSI：https://facebookmicrosites.github.io/psi/ PSI（Pressure Stall Information，压力失速信息）首次提供了一种规范，通过内存、CPU 和 I/O 这三种主要资源的新压力指标来量化资源短缺。这些压力指标与此次开源的其它内核和用户空间工具相结合，可以在智能开发和响应时检测资源短缺。PSI 统计数据为即...阅读全文
虽然 Fedora 33 桌面版已确定默认使用 Btrfs 文件系统，但对于使用服务器版本或者不希望使用默认设置的用户，官方提供了 Stratis 2.1 作为另一种选择。Stratis 是一个卷管理文件系统 volume-managing filesystem(VMF)，由 Fedora 团队负责开发，在 LVM、Device Mapper 和 XFS 的基础上提供类似 ZFS/Btrfs 的功能（子卷管理和文件系统）。 红帽承诺会采用其作为 Linux 存储方案，甚至有可能在 Red Hat Enterprise Linux 9 中默认使用。因此 Fedora 现在可以说是同时促进 Btrfs 和 Stratis 这两种技术的发展。 上个月有提案建议将 Stratis 的最新版本...阅读全文
引入的新的仲裁控制器确保元数据在整个仲裁中可以被准确复制。活动控制器将元数据存储在事件源日志主题中，仲裁中的其他控制器对活动控制器创建的事件做出响应。事件日志定期进行快照，确保日志不会无限增长。与基于 ZooKeeper 的控制器不同，如果出现了问题，仲裁控制器不需要从 ZooKeeper 加载状态，因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口，缩短了系统最坏情况恢复时间。下图显示了使用新的仲裁控制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。新的 KRaft 共识算法和仲裁控制器使得 Kafka 集群可以扩展到数百万个分区，不仅提升了稳定性，让 Kafka 变得更容易监控、管理和支持，而且让整个系统可以有一个单一的安全模型，使...阅读全文
以同时管理多个 Kubernetes 集群，更方便地管理多个集群。 丰富的权限管理 ：将资源抽象化为部门、项目级别，角色的权限可以更细化的控制，适用于多部门、多项目的统一集中管理。 多种登录模式 ：支持企业级 LDAP 登录、支持 OAuth2 登录，支持数据库登录多种模式。 完备的审计 ：所有操作都会有完整的审计功能，方便追踪操作历史。 开放平台 ：支持 APIKey 开放平台，用户可自主申请相关 APIKey 并管理自己的项目。 多层次监控 ：提供多级别的监控统计信息，实时关注集群的运行状态。 架构图 整体采用前后端分离的方案： 前端采用 Angular 框架进行数据交互和展示，使用 Ace 编辑器进行 Kubernetes 资源模版编辑。 后端采用 Beego 框架做数据接口处理，使用...阅读全文
（establishment）在欧盟境内，不论该数据处理的行为发生在境内或境外，该数据控制者或处理者及其欧盟境内的营业场所都将受到GDPR的约束——前提是该数据控制者或处理者与欧盟境内的营业场所之间存在“不可摆脱的联系”（inextricable link）。依据第29工作组（WP 29）的观点和欧盟法院判例，“财务上的联系、提供免费网络服务以换取用户会员费或用户订阅、利用用户数据盈利”，都可被认定存在‘不可摆脱的联系’。”[5] （3） 保护性管辖：无论数据控制者和处理者是否在欧盟境内有实体机构，也不论数据处理行为是否发生在欧盟境内，只要向欧盟数据主体提供产品或服务（无论该产品或服务是否需要支付对价）[6]或监控其行为[7]，或只要处理或持有居住在欧盟的数据主体的数据的所有企业，都受GDPR的管辖。 （4） 根据国...阅读全文
Systemd 是 Linux下的一款系统和服务管理器，兼容 SysV 和 LSB 的启动脚本。Systemd 的特性有：支持并行化任务；同时采用socket式 与 D-Bus 总线式激活服务；按需启动守护进程（daemon）；利用 Linux 的 cgroups 监视进程；支持快照和系统恢复；维护挂载点和自动挂载点；各服务间基于依赖关系进行精密控制。 其中的监视和控制功能的主要命令就是systemctl。 Systemd 有很多不同类型的使用单元，主要包括：系统服务（.service）、挂载点（.mount）、sockets（.sockets）、系统设备（.device）、交换分区（.swap）、文件路径（.path）、启动目标（.target）。一般我们常用的是其中的系统服务。 对于系...阅读全文
Linux Kernel 5.10 有望在本周末发布，外媒 Phoronix 盘点了 10 个值得关注的改进和新功能。5.10 不仅是 2020 年最后一个内核版本，而且还是长期支持（LTS）版本。 Linux Kernel 5.10 合并窗口期在今年 10 月关闭，当时外媒 Phoronix 就发文概览了主要功能。而在 5.10 即将发布之际，外媒体再次盘点了 10 项比较有趣的功能： 1.AMD Zen 3 温度监控 AMD Zen 3 温度监控现在可以在支持 k10temp 驱动程序和其他持久 Zen 3 扩展的 Linux 上运行，这对操作至关重要。Ryzen 5000 系列在 Linux 5.8-5.9 上运行良好，并且具备所有核心功能。 2.英特尔图形 在英特尔图形方面...阅读全文
Jira Jira 是 Atlassian 开发的专用问题跟踪产品，提供了错误跟踪和敏捷项目管理功能。 JetBrains YouTrack YouTrack 是由 JetBrains 开发的，基于浏览器的专用商业软件，融合了错误跟踪器、问题跟踪系统以及项目管理软件。它的卖点是基于查询的问题搜索，拥有自动完成、分批处理问题、自定义问题属性集，以及创建自定义工作流的特性。 Zendesk Zendesk 可以轻松地从所有渠道跟踪每一个客户问题。目前 Uber 和 Airbnb 等许多公司都在使用 Zendesk Support 作为他们的问题跟踪软件。 源代码控制 源代码控制主要是为了控制资产，减少沟通障碍，赋能团队。目前业内比较常用的 SCM 工具包括 Git、GitHub、GitLab...阅读全文
Chrony 是一个多功能的 NTP (Network Time Protocol) 实现，类 Unix 系统上 NTP 客户端和服务器的替代品。它可以通过 NTP 服务或者类似 GPS 时钟接收器的硬件级参考时钟来同步系统时钟，具有更好的时钟准确度，并且对于那些间歇性互联网连接的系统很有帮助。Chrony 是免费开源的，并且支持 GNU/Linux 和 BSD 衍生版、Solaris 等。 Chrony 有两个核心程序：一个是 chronyd 守护进程，主要用于调整内核中运行的系统时间和时间服务器同步。它确定计算机增减时间的比率，并对此进行调整补偿。另一个是 chronyc，它提供一个用户界面，用于监控性能并进行多样化的配置。chronyc 可以在 chronyd 实例控制的计算机上工作...阅读全文
鹅，它表示着 PID 为 421 的进程，它正在查看文件柜中的文件，这代表系统中正有一个进程在访问文件系统。在右下角有一只小狗，它是看门狗，这代表对文件系统的监控。 一层（地面层） floor 看完了地基，接下来我们来看地基上面的一层，都有哪些东西。 Process Table 在这一层，最引人瞩目的莫过于中间的一块垫子，众多小企鹅在围着着桌子坐着。这个垫子的区域代表进程表。 左上角有一个小企鹅，站着，仿佛在说些什么这显然是一位家长式的人物，不过看起来周围坐的那些小企鹅不是很听话——你看有好多走神、自顾自聊天的——“喂喂，说你呢，哇塞娃（171），转过身来”。它代表着 Linux 内核中的初始化（init）进程，也就是我们常说的 PID 为 1 的进程。桌子上坐的小企鹅都在等待状态中，等待工...阅读全文
Grafana v6.0.0 正式版发布了。Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版是 Bug 修复版本，更新内容如下： Stackdriver: fix for float64 bounds for distribution metrics #14509Stackdriver: no reducers available for distribution type #15179Dashboard: fixes click after scroll in series override menu #15621MySQL: fix mysql...阅读全文
Keep是一款功能强大的开源告警管理和AIOps平台，它专注于帮助开发和运维团队更高效地处理告警问题。该平台提供了集中式的仪表板界面，支持与Prometheus、Grafana、Datadog、Slack等主流监控工具和通信平台的双向集成。 平台的一大特色是支持通过YAML文件声明式地定义工作流，用户可以轻松配置告警的触发条件、处理步骤和响应动作，实现告警处理的自动化。同时，Keep采用API优先的设计理念，开发者可以直接通过代码管理工作流，便于与现有系统无缝集成。 值得一提的是，Keep正在积极开发AI关联和AI摘要等智能化功能，未来将进一步提升告警处理的智能化水平，帮助团队更好地降低告警噪音，提升运维效率。这些特性使Keep成为一个极具前景的开源运维工具。...阅读全文
过多，以至于无法持续。 这个 CD 系统的关键组件是一种控制方法，即谁将接收变更，以及用于部署和测量的自动化工具。在第一步中，经过一系列自动化测试后，变更就从内部推送到 Facebook 员工。在这一阶段发现的任何回归，都会被认为这一进程受阻或者停止。下一步涉及到“ canary deployment ”（金丝雀部署），只推送至生产环境的 2% 。依靠连续的监测来检测问题。如果一切顺利，这些变更将 100% 部署到生产环境中。名为 Flytrap 的工具收集用户报告，并发送任何异常情况的告警。 Facebook 中的 Web 和移动产品遵循两条不同的路径，原生移动变更的部署频率低于 Web 。这两个都由名为 Gatekeeper 的系统控制。除此之外，Gatekeeper 还分离出了部署和发...阅读全文
Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从运行的系统中，获取系统状态和行为，做过滤分析，功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器（如docker、coreOS、LXC）进行监控。 Sysdig 也支持windows平台和mac平台。下面我们以 Linux系统为例，举例说明 Sysdig 的用法，你也可以参考官方原文。 网络 查看占用网络带宽最多的进程：sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary：sysdig...阅读全文
谷歌于 1 月下旬曾向 USPTO（美国专利及商标局）递交了名为 “Pigweed” 的新商标申请。根据申请内容来看，Pigweed 商标涵盖“计算机操作软件”。当时，人们猜测这是一款新的操作系统商标，但并未有任何相关信息提供。 昨日，谷歌毫无征兆地公布并开源了 Pigweed。与之前的猜想不同，这是一个嵌入式库（或模块）的集合。使用 Pigweed 模块可以在 32 位微控制器（ 即嵌入单电路芯片中的小型计算机 ）上实现更快、更可靠的开发。 Pigweed 提供的模块可满足嵌入式开发人员的广泛需求。从整个生命周期来看，Pigweed 从设置，到开发，再到代码提交，都能够有效提高嵌入式开发的效率。谷歌以上述开发过程为轴，围绕这几个方面分别介绍了 Pigweed 的一些模块。 嵌入式空间...阅读全文
JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓存、限流、降级、熔断、统一配置中心、Opentracing 数据追踪、metrics 数据监控、分布式 session、代码生成器、shiro 和 jwt 安全控制、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下： 新增：redis 添加自定义序列化配置的功能 新增：Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获取 rpc service 新增：JbootController 添加 getRawObject() 方便获取 api 传过来的 json 数据...阅读全文
某最后一次部署挖矿脚本后，百度通过安全管理监控系统发现大量服务器运行异常，占用公司服务器的运算资源执行了挖矿程序，经过一番排查，最终确定了幕后的操盘手“安某”。 为此，百度还花费 2.7 万元请北京耐特网科技公司提供了应急服务，具体项目包括样本提取、样本分析、服务器日志提取并分析、追踪溯源、报告编写等。 2018 年 7 月，百度正式起诉“安某”，认为其犯有非法控制计算机信息系统罪。经法院的进一步核实，被告人“安某”虽对其行为性质提出辩解，但其到案后及在庭审过程中对其实施的作案过程均能如实交代，故应认定其具有如实供述的情节，同时结合其能退缴涉案违法所得，故可对其从轻处罚。 据此判决： 一、被告人安邦犯非法控制计算机信息系统罪，判处有期徒刑三年，罚金人民币一万一千元。 二、在案扣押的人民币十一...阅读全文
Spring Cloud：Eureka注册中心，Ribbon集成REST实现负载均衡，OpenFeign声明式服务调用，Hystrix实现服务限流熔断降级和数据监控，Zuul实现微服网关，Config分布式统一配置中心，分布式链路跟踪，集成Spring Cloud实现统一整合方案虚拟化容器Docker：Docker环境搭建和使用，搭建Docker私有仓库，Docker分布式集群部署，Kubernetes简介 4. 分布式 Java并发编程和网络编程：Java线程状态，线程池，线程通信，线程安全，Netty高性能原理分布式开发框架：分布式系统口调用技术：RPC，Apache分布式系统Zookeeper原理与应用，阿里Dubbo设计思想与应用分布式中间件：分布式服务器治理，分布式消息通信，分布式数据缓存...阅读全文
一句话概况：stackstorm是一个事件驱动的自动化引擎。StackStorm 是一坨功能强大的开源自动化平台，可将通过使用插件封装API的方式，将所有应用程序，服务和工作流程连接起来。这里的所有包括了目前我们常用Gitlab、Zabbix、ELK、AWS 等服务。 Stackstorm 具有很好的可扩展性，灵活性，完美支持 ChatOps 和全操作的API实现。通过Stackstorm 可以将您现有的基础架构和应用程序环境联系在一起，以便您可以更轻松地自动化操作该环境。它特别专注于针对事件采取行动。 便利的故障排除 - 触发由Nagios，Sensu，New Relic和其他监控系统捕获的系统故障，在物理节点、OpenStack或Amazon实例和应用程序组件上运行一系列诊断检查，并将...阅读全文
Grafana 6.3.3 发布了，Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新主要是 Bug修复，具体如下： Annotations：修复取消时间序列查询时，失败的注释查询 #18532Auth：如果 cookie_samesite 为 none，请不要设置 SameSite cookie 属性 #18462DataLinks：正确地将范围变量应用于数据链接 #18454DataLinks：在图形上下文菜单中显示数据点的时间戳时，遵守时区 #18461DataLinks：插值变量时，正确使用数据点时间戳 #18459Explore：修复空...阅读全文
知道他们可以通过勒索软件赚钱，并且在索要赎金方面变得越发大胆。常见的勒索软件攻击包括勒索软件运营商对数据进行加密，并强迫受害者支付赎金以解锁数据。在双重勒索中，勒索软件运营商会加密并窃取数据，进一步胁迫受害者支付赎金。如果不支付，勒索软件运营商就会将数据公布到泄漏网站或暗网，大部分数据泄漏网站都托管在暗网，而这些托管站点由勒索软件运营商创建和管理。在新冠疫情下，医疗行业成今年勒索软件最大目标。不法之徒得知医疗机构需要继续营运以治疗新冠患者，无法承担系统被锁定的后果，继而通过勒索软件进行攻击。勒索软件Ryuk在众多勒索软件中尤其猖獗。利用这种手段最多的勒索软件是NetWalker。从2020年1月到2021年1月，NetWalker泄漏了全球113家受害企业的数据（见下图），远远超过了其他勒索...阅读全文
以 TICK 监控方式为例，查询最近三天的，CPU 空闲率超过 90% 的主机列表， ``` SELECT usage_idle FROM (SELECT min("usage_idle") as usage_idle FROM "cpu" WHERE ("cpu" = 'cpu-total') AND ("time" > now() - 3d) GROUP BY "host") WHERE usage_idle > 93 GROUP BY "host" ```...阅读全文
Observium是一个免费的开源网络管理和监控工具，可用于监控所有的网络设备。 它是用PHP编写的，使用SNMP从连接的设备收集数据并使用Web界面监视它们。 Observium支持大量的网络硬件和操作系统，包括Linux，Windows，FreeBSD，思科，戴尔，NetApp等等。 Observium提供了一个功能强大，简单易用的界面来监视网络的健康和状态。 在本教程中，我们将解释如何在Debian 9服务器上安装和配置Observium。配置需求： 一个新的Debian 9服务器安装在您的系统上。 在您的服务器上设置一个根密码。 入门 首先运行以下命令，将系统更新到最新的稳定版本： apt-get update -y apt-get upgrade -y 系统更新后，重新启动系统以...阅读全文
拍摄的截图（Justin Paine 在博客中展示了一些处理过的图片）。我们将根据相关法律法规采取适当行动，并将继续采取积极主动的安全措施，以防止今后发生类似事件。” ElasticSearch 安全事故频发 虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数： 2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1...阅读全文
近日，Linux 基金会宣布成立 DizmeID 基金会和技术项目，旨在支持数字身份认证。这项工作将把自主身份的优势与必要的合规性和监管结合起来，目的是使钱包持有者能够拥有和控制他们的数字身份以及数据访问和分发。其创始成员包括：Algorand、Fabrick 和 InfoCert，A.P.S.P. 是准会员。  DizmeID 基金会和技术项目将定义并允许在 Sovrin 公共身份实用程序之上实现 Dizme 功能，同时利用 trustoverip 元模型，并基于现有基础设施的三个领域，将其工作重点放在定义和实现 DizmeID...阅读全文
提供关注点分离，并专注于特定功能，以减少意大利面条的依赖性和不可测的组件 对于Sidecar容器一般来说主要体现在以下4种角色： 代理。例如现在Istio中的Envoy。 通过这种Sidercar 模式，代理可以拦截进出主容器的流量从而Istio可以提取有关流量行为的大量信号作为属性。 Istio可以使用这些属性来执行策略决策，并将其发送到监视系统以提供有关整个网格行为的信息。 Sidecar代理模型还允许您将Istio功能添加到现有部署中，而无需重新构造或重写代码。 适配器。适配器容器对输出进行标准化。考虑监视N个不同应用程序的任务。可以使用不同的导出监视数据的方式来构建每个应用程序。 （例如JMX，StatsD，特定于应用程序的统计信息），但每个监控系统都希望其收集的监控数据具有一致且统...阅读全文
#2342TiFlash添加上报 DeltaTree 引擎读写负载相关 metrics 信息支持 fromUnixTime 和 dateFormat 函数下推默认禁用粗粒度索引过滤器TiDB Ansible新增 TiFlash 监控 #1253 #1257优化 TiFlash 配置参数 #1262 #1265 #1271优化 TiDB 启动脚本 #1268 Bug 修复 TiDB修复 merge join 在某些场景下 panic 的问题 #15920修复在计算选择率时重复考虑某些表达式的问题 #16052修复极端情况下 load 统计信息可能出现的 panic 的问题 #15710修复 SQL query 中存在等价表达式在某些情况下无法识别导致报错的问题 #16015修复从一个数据库中查询另一个数据库的...阅读全文
IPv4 和 IPv6 两个地址。注意，如果使用了 CNI 插件和云服务商扩展（Cloud Provider），CNI 插件和云服务商扩展也需要支持 IPv4/IPv6 双栈。CSIVolumeHealth Alpha 和 CSIStorageCapacity Beta从 v1.21 开始，Kubernetes 支持 CSI 存储插件的 Volume 健康检查（Alpha 版），CSI 插件需要实现外部健康监控控制器。当 Volume 或者 Node 出现异常时，该控制器会向 Volume 所属的 PVC 以及使用该 PVC 的 Pod 发送一个异常事件。CSIStorageCapacity 用于跟踪 CSI 存储容量并确保 Pod 调度到足够存储容量的节点上。该特性从 v1.21 开始进入...阅读全文
根据 GitLab CEO Sid Sijbrandij 在圣诞节来临之际，向开发者宣布，在 GitLab 11.8 发布时，将开源 ChatOps 功能。 GitLab ChatOps 的主要功能，就是开发者通过即使通讯平台发送命令，目前支持的平台包括 Slack 和 Mattermost 。Sid Sijbrandij 表示，GitLab 在未来也会加入 GitLab ChatOps 功能。 ChatOps 共有以下 5 大特点： 提供监测功能，配备相关的监工仪表盘，让运维人员更方便的进行鼓掌排除。支持 JQuery 指令操作，也支持输入简单的 SQL 指令。整合角色控制权限，为每个使用者配置不同的权限。不需要进行相关的设置工作，开发者开通后即可使用。ChatOps 作为平台中的功能...阅读全文
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
