Debian 爱好者社区 为您找到相关结果 808

Linux 内核组织将关闭 FTP 服务

Linux Kernel Organization(kernel.org) 是一家建立于 2002 年的加利福尼亚公共福利公司,其目的是公开地免费分发 Linux 内核和其它开源软件。它接受 Linux 基金会的管理,包括技术、资金和人员支持,用以维护 kernel.org 的运营。 Linux 内核组织是 Linux 内核发布的官方场所,在其站点上可以找到 Linux 内核的各个本,包括最早的 1.0 到最新的 4.x 内核。其所提供的内核获取方式多种多样,包括: HTTP https://www.kernel.org/pub/ GIT https://git.kernel.org/ RSYNC rsync://rsync.kernel.org/pub/ 以及 FTP 方式,然而,现在...阅读全文

博文 2021-01-28 17:50:20 debian.cn

QEMU 5.0 稳定版发布

设备HPPA: 通过 HP Artist 图形设备支持图形控制台MIPS: 支持 GINVT (global TLB invalidation) 指令PowerPC: 当 ic-mode=dual 时,‘pseries’ 机器不再需要重启来进行 XIVE/XICS 中断控制器之间的中断控制PowerPC: ‘powernv’ 机器现在可以模拟 KVM 硬件加速,并在 TCG 模式下运行 KVM guestsRISC-V: ‘virt’ 和 ‘sifive_u’ 板卡现在支持 Linux 中的通用 syscon 驱动,以控制启动和重启RISC-V: ‘virt’ 板卡支持 Goldfish RTCRISC-V: 实验性支持扩展草案的 v0.5 本s390: 当在 KVM 模式中运行时,支持适...阅读全文

博文 2020-04-30 10:20:13 debian.cn

Kong 发布 API 协作设计工具 Insomnia Designer

件进行本控制。 除此之外,Insomnia Designer 还提供了与 Kong 平台的强大集成。通过使用 Insomnia 插件,用户可以在 Insomnia Designer UI 中自动将 Kong 网关策略直接嵌入到他们的 API 规范文件中。意思就是,开发者可以将 Kong 网关策略直接存储到规范本身。通过选择 Kong Plugins 的功能(如身份验证或速率限制),用户可以将管理其 API 行为的策略直接写入代码中。 更多介绍查看 https://insomnia.rest/blog/introducing-designer下载地址 https://insomnia.rest/download/...阅读全文

博文 2020-05-03 15:28:11 debian.cn

OpenStack 基金会发布新容器项目 Kata

建“湾区(bay)”。这些湾区可以通过 Kubernetes、Docker Swarm 和 Mesos 进行编配。Zun 则提供了一组 OpenStack API,用于启动和管理不同类型的容器。与之不同的是,Kata 更注重兼容新标准和安全性。 Kata 容器项目由很多子项目组成——Agent、Runtime、Proxy、Shim、Kernel 和 QEMU 2.9,并处于 OpenStack开放监管模型 的监管之下。 Clear 容器的产品经理 评论 说,这个项目还在开发中,两个项目的集成也正在进行当中——“我们预计在 3 月份发布 1.0 本,届时用户可以使用 runv 或 CC 进行迁移”。该项目的支持者包括 99cloud、AWcloud、Canonical、中国移动、City...阅读全文

博文 2017-12-14 22:45:39 debian.cn

Debian 8 使用 Apache 部署 Ruby on Rails

-dev 2.使用gem模块的gem包管理器,安装fastthread gem: sudo gem install fastthread 3.安装Ruby On Rails: sudo gem install rails 4.(可选)为您的应用程序安装其他依赖项,例如 MySQL 支持: sudo apt-get install mysql-server libmysqlclient-dev mysql-client mysql-common sudo gem install mysql 5.将rails添加到$PATH环境变量。 请确保用正在运行的Ruby本替换VERSION: ls /var/lib/gems PATH="/usr/local/sbin:/usr/local/bin:/usr...阅读全文

博文 2021-01-28 17:50:33 debian.cn

kubelet 中垃圾回收机制的设计与实现

如下: 当容器镜像挂载点文件系统的磁盘使用率大于--image-gc-high-threshold时(containerRuntime 为 docker 时,镜像存放目录默认为 /var/lib/docker),kubelet 开始删除节点中未使用的容器镜像,直到磁盘使用率降低至--image-gc-low-threshold 时停止镜像的垃圾回收。kubelet GarbageCollect 源码分析kubernetes 本:v1.16GarbageCollect 是在 kubelet 对象初始化完成后启动的,在 createAndInitKubelet 方法中首先调用 kubelet.NewMainKubelet 初始化了 kubelet 对象,随后调用...阅读全文

博文 2021-02-05 17:48:22 知乎

如何在 Debian 上添加和删除用户

户: sudo adduser sammy 一旦执行该命令,您将看到一些输出,后是一系列提示,要求您为新用户分配和确认密码。然后,系统会要求您输入有关新用户的任何其他信息。这是完全可选的,可以通过碰撞跳过ENTER ,如果你不希望将信息输入到这些领域。 最后,系统会要求您确认您提供的信息是否正确。输入Y继续。整个过程看起来像这样: OutputAdding user `sammy' ... Adding new group `sammy' (1001) ... Adding new user `sammy' (1001) with group `sammy' ... Creating home directory `/home/<^>sammy' ... Copying files...阅读全文

博文 2021-01-28 17:50:21 debian.cn

Golang常见的十大算法精简版

最近有时间,都在看Go,感觉Go语言真的不错,具体自行百度。今天简单说一下算法。 什么是算法一系列的计算步骤,用来将输入数据转化成输出结果算法的意义用于解决特定的问题解决同一个问题的不同算法的效率常常相差非常大,这种差距的影响往往比硬件和软件方的差距还要大。 算法在我们编程开发中,还是不可或缺的。下简单来列举一下go语言常见的十大算法。 BubbleSort(冒泡排序) func Sort(list []int, left, right int) { if right == 0 { return } for index,num := range list { if index < right && num > list[index + 1] { utils.SwapGo(list...阅读全文

博文 2019-09-05 09:31:10 debian.cn

容器原理之cgroup - abin在路上

kubernetes,可以用于决定是否调度 pod 到某个节点,从而确保每个容器中的应用都有足够的可用资源。 cgroup 主要功能包括: 资源限制:限制一组进程的可用资源阈值。 资源监控:监控 cgroup 级别的资源使用状态。 进程控制:控制(挂起 or 恢复)cgroup 中的所有进程。 优先级控制:控制不同 cgroup 的优先级,当资源不足时,优先满足优先级高的 cgroup。 cgroup 模式 目前,cgroups 有两个本,cgroup V1 和 cgroup V2。V1 功能相对零散,不方便维护,V2 是未来的演进方向。在这种情况下,节点存在以下 3 种 cgroups 模式: legacy:只支持 cgroup V1 hybrid:同时支持 cgroup V1 和 cgroup V2...阅读全文

博文 2025-03-17 20:45:47 博客园

使用 MongoDB 之前应该知道的 14 件事

MongoDB 是一个多租户系统,它会尽可能地占用内存,因此最好是安装在服务器上,最大限度地提供内存,即使是开发工作。在服务器上使用默认端口安装而不启用身份验证是在自找麻烦,尤其是可以在查询中运行任意 JavaScript 时(例如把$where 作为注入攻击的载体)。 身份验证方法有多种,但是用户 ID/密码凭证最容易安装和管理。当你考虑 基于 LDAP 的身份验证 时,可以采用那个方法。在我们谈论安全时,MongoDB 必须保持最新,而且,在日志里查找未授权访问的迹象总是值得的。我不喜欢使用默认端口。 忘记限制 MongoDB 的攻击 MongoDB 的 安全检查清单 为降低网络渗透和数据泄露风险提供了很好的建议。我们很容易会认为,开发服务器不需要高等级的安全。不是这样的:安全对于所有...阅读全文

Debian 9 使用kubeadm创建 k8s 集群(下)

worker1 Ready 1d v1.14.0 worker2 Ready 1d v1.14.0 如果所有节点都具有Ready for STATUS值,则表示它们是群集的一部分并准备好运行工作负载。 但是,如果一些节点将NotReady作为STATUS ,则可能意味着工作节点尚未完成其设置。 等待大约五到十分钟,然后重新运行kubectl get nodes并检查新输出。 如果少数节点仍具有NotReady作为状态,则可能必须验证并重新运行前步骤中的命令。 现在您的集群已成功验证,让我们在集群上安排一个示例Nginx应用程序。 第7步 - 在群集上运行应用程序 您现在可以将任何容器化应用程序部署到您的群集。 为了保持熟悉,让我们使用部署和服务部署Nginx,以了解如何将此应用程序部署到集群。 如果更...阅读全文

博文 2019-05-13 22:57:41 debian.cn

Cortex: 高可用和水平扩展Prometheus监控系统

询时必须提供相同的值。在下的例子中,这个headers是使用nginx反向代理设置的。架构图Cortex架构(源)Nginx/gateway–一个位于cortex前的反向代理,将收到的所有请求转发给相应的服务。分发服务器Distributor–处理传入的指标,将其拆分为多个批次,然后将其传递给Ingesters。如果复制因子replication factor设置为> 1,则数据将发送到多个实例。接收器Ingester–此服务负责将数据写入已配置的存储后端。Ingester是半状态的,因为它们保留了最后12个小时的样本。这些样本将被批处理并压缩,然后再写入块存储。查询前端Query Frontend–一个可选组件,用于对查询请求进行排队,并在失败时重试它们。结果也被缓存以提高性能查询器...阅读全文

博文 2021-10-09 17:00:22 知乎

玩转 AWS 的必备工具

主要详细介绍Ansible和SaltStack。 AnsibleAnsibleisSimpleITAutomation Ansible的配备简易,不用在远程控制instances上事先尤其的手机软件,只必须能根据ssh登陆和Python就可以了。其原理都不繁杂,Ansible最先根据ssh将Ansible的可执行程序拷贝到总体目标isntances上并实行,随后根据ssh连接在远程控制服务器上启用Ansible可执行程序。Ansible应用YAML做为配备模英语的语法。 小编在考博士期内以前参加过一个十分相近Ansible的群集管理系统软件新项目GXPClusterShell。GXP比Ansible大概早了五年。根据GXP不但能够达到相近Ansible的群集管理方法,与此同时也涵盖了...阅读全文

玩转 AWS 的必备工具

SaltStack。 AnsibleAnsibleisSimpleITAutomation Ansible的配备简易,不用在远程控制instances上事先尤其的手机软件,只必须能根据ssh登陆和Python就可以了。其原理都不繁杂,Ansible最先根据ssh将Ansible的可执行程序拷贝到总体目标isntances上并实行,随后根据ssh连接在远程控制服务器上启用Ansible可执行程序。Ansible应用YAML做为配备模英语的语法。 小编在考博士期内以前参加过一个十分相近Ansible的群集管理系统软件新项目GXPClusterShell。GXP比Ansible大概早了五年。根据GXP不但能够达到相近Ansible的群集管理方法,与此同时也涵盖了一个根据make的Map-Reduce解决构架和一...阅读全文

Kubernetes常用命令大全(持续更新)

分析错误)对控制器和服务,node同样有效 kubectl describe pods xxxxpodsname --namespace=xxxnamespace 其他控制器类似吧,就是kubectl get 控制器 控制器具体名称 查看pod日志 kubectl logs $POD_NAME 查看pod变量 kubectl exec my-nginx-5j8ok -- printenv | grep SERVICE kubectl get cs #### 集群健康情况 kubectl cluster-info #### 集群核心组件运行情况 kubectl get namespaces #### 表空间名 kubectl version #### 本 kubectl api...阅读全文

博文 2020-03-13 12:35:13 debian.cn

个人信息保护新规将出台 消费者被短信轰炸将成为历史

加密项目,预计8月1日起,商家将无法获得订单收获信息中用户的手机号、姓名、收货地址等信息,这些信息将以加密字符串的形式输出,导出数据也逐步会变成密文。 海豚智库创始人李成东告诉记者,客户信息加密后,商户和快递公司均将无法获取到客户相关信息。这意味着,“双十一”或者“618”前,商户疯狂对客户短信轰炸的局不会再出现了。 一位TMT领域的专家表示,打击信息泄露、保护用户信息安全是当下互联网平台治理的重点方向。电商平台与其坐等政策干预,还不如主动求变,提前做好准备。...阅读全文

总结系统设计中的33个黄金法则

Refer to https://www.linkedin.com/pulse/system-design-rules-navneet-kumar-p6n7f/ 系统设计很复杂,它需要设计者有深厚的计算机知识和专业知识,没有一种通用的设计可以适应所有业务场景。尽管如此,还是有一些比较通用的规则可以供你设计系统时参考,也能帮助你在试中摆脱困境。 1. 对于数据密集型系统 — 考虑使用缓存。 2. 对于写入量大的系统 — 使用消息队列进行异步处理 3. 对于低延迟要求 — 考虑使用缓存和 CDN。 4. 需要𝐀原子性、𝐂一致性、𝐈隔离性、𝐃耐用性兼容数据库 — 选择 RDBMS/SQL 数据库。 5. 对于非结构化数据——可以选择NoSQL...阅读全文

2018 GitHub 最火技术趋势

。Warner强调说,安全性必须是代码不可分割的一部分,不能简单地在生产过程中才添加至系统。Warner看到了由于对机器学习的关注,对目前的安全领域产生了巨大影响,这种趋势最终会导致构建的系统会受一个自动的保护机制所保护。 云服务基础设施方将会有工具和服务的增长,这些工具和服务将减少开发人员对基础设施的关注,开发人员能够更自由地专注于构建他们的产品和项目。这一过程将会与Warner所谓的“工作流战争(workflow war)”相关联: 随着大型科技公司开始收购那些专注于提升开发人员体验、解决基础设施问题以及构建更好的工作流工具的小型企业,企业的并购活动将会升温。 开源软件将在2018年继续发展,并将成为许多开发封闭源代码系统公司的重要竞争对手。据Warner所说,这一趋势在过去的10年中一直都很强劲...阅读全文

博文 2017-12-14 22:50:29 debian.cn

Facebook 开源的一组 Linux 内核组件与工具

近日,Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具,这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方:BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中,并用于其它许多企业组织的环境中。 BPF:https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎,可以让字节码在各个 hook 点运行,以使用自定义代码。虽然 BPF 已广泛用于数据包过滤,但是 BPF 的指令集具有很强的通用性和灵活性,足以支持和允许除网络之外的众多使用场合,比如跟踪和...阅读全文

博文 2018-11-24 09:27:14 debian.cn

2017年的Linux内核防护依然脆弱

Linux 主线影响了 PaX/Grsecurity 的正常开发,这也是 PaX/Grsecurity 关闭公开访问 test patch 的主要原因之一,最近由 Qualys 曝光的 Stack clash 是一个古老的漏洞利用平的工程化,这威胁到了几乎所有类 UNIX 系统(包括 GNU/Linux)的安全,当 Linux 内核 x86 的 maintainer 之一 Andy Lutomirski 问及 PaX/Grsecurity 是如何修复时 Linus 直接回复了 Grsecurity 是垃圾,有趣的是当 PaX/Grsecurity 的作者之一 Spender 曝光了一些内核最近的 silent fix 以后 Linus 居然 “邀请”PaX team/Spender 直接贡献代码...阅读全文

博文 2021-01-28 17:50:35 debian.cn

Linux 基金会与 RISC

、紫光展锐等公司也加入了RISC-V联盟,其中华米科技今年9月份还宣布了基于RISC-V指令集的首款智能穿戴芯片黄山1号。 不过RISC-V前景虽好,但是现在还在起步阶段,包括RISC-V基金会本身的运作也需要向Linux基金会这样的成熟社区学习,所以这次合作对RISC-V阵营意义重大,Linux软件生态在RISC-V处理器的开发、优化、支持等方都会推动RISC-V建立更强大的生态系统。...阅读全文

博文 2018-12-01 09:45:27 V 基金会合作推广开源芯片

Linux 上如何禁用 USB 存储设备

block_usb.conf (也可能叫其他名字) , $ sudo vim /etc/modprobe.d/block_usb.conf 然后将下行内容添加进去: install usb-storage /bin/true 最后保存文件并退出。 方法 2:删除 USB 驱动 这种方法要求我们将 USB 存储的驱动程序(usb_storage.ko)删掉或者移走,从而达到无法再访问 USB 存储设备的目的。 执行下命令可以将驱动从它默认的位置移走: $ sudo mv /lib/modules/$(uname -r)/kernel/drivers/usb/storage/usb-storage.ko /home/user 现在在默认的位置上无法再找到驱动程序了,因此当 USB 存储器连接到系统上时也就无法加载到驱动...阅读全文

博文 2017-12-18 22:52:58 debian.cn

五种绕过 Linux 命令别名的方法

或显示关于命令的信息。它带参数运行命令,会阻止 shell 函数查询或者别名,或者显示有关给定命令的信息。 方法 5 - 使用 unalias 命令的说明 要从当前会话的已定义别名列表中移除别名,请使用 unalias 命令: unalias mount 要从当前 bash 会话中删除所有别名定义: unalias -a 如果要永久删除定义的别名,则必须删除别名的定义语句,确保你更新你的 ~/.bashrc 或 $HOME/.bash_aliases : vi ~/.bashrc #或者执行 vi $HOME/.bash_aliases 想了解更多信息,参考这里的在线手册,或者输入下的命令查看: man bash help command help unalias help alias...阅读全文

博文 2018-03-08 13:33:02 debian.cn

DNSCrypt简明教程

-proxy/cloaking-rules.txt 这个文件,在后添加你的DNS,例如:# my customized dns www.one-domain.com x.x.x.x *.your-domain.com x.x.x.x其实我想要方案是匹配域名,然后把这些域名的DNS指向另一个DNS,这样会方便些,不过似乎 dnscrypt-proxy 还不支持。还有一个方案就是把 fallback_resolver 改成公司所提供的DNS。更多文章socketserver 源码阅读与分析functools 源码阅读与分析contextlib代码阅读Collections 源码阅读与分析Redis通信协议阅读2016年就要结束了,2017年就要开始啦!unittest 源代码阅读APUEv3 - 重读笔...阅读全文

博文 2021-02-06 19:55:08 知乎

IBM宣布以340亿美元收购RedHat 组建混合云提供商

发模式,以及促进其广泛的开发人员生态系统。此外,通过专利承诺、GPL 合作承诺、OIN 和 LOT 网络等工作,IBM 和 Red Hat 将继续致力于持续的开源自由。 除了 IBM Cloud 之外,IBM 和 Red Hat 还将继续构建和增强红帽合作伙伴关系,包括主要云提供商,如 AWS、微软 Azure、谷歌云与阿里巴巴等。与此同时,红帽将从 IBM 的混合云和企业 IT 规模中受益,帮助他们将开源技术组合扩展到全球业务。 “收购 Red Hat 是一个改变游戏规则的方式。它改变了有关云市场的一切”,IBM 公司董事长、总裁兼首席执行官 Ginni Rometty 表示:“IBM 将成为全球排名第一的混合云提供商,为企业提供唯一的开放云解决方案,为企业提供全的云价值。” “如今,大...阅读全文

可用于企业的三个非主流 Web 服务器

多独特的安全功能。它还使用可读的配置语法,可以在不需要 HTTP 或 CGI 专业知识的情况下使用。 Hiawatha 的优势在于其体积小巧,安全性高,易于安装。它非常适合寻求轻量级替代 Apache 的用户,他们将安全可用性,速度和性能优先于高级功能。 Cherokee Cherokee 是我们这些服务器中第三个取自美洲原住民部落的名字。这个由 Akamai Technologies 工程总监 Alvaro Lopez Ortega 于 2001 年创建,他想将模块化和轻量化设计的速度和功能结合起来。 Cherokee 已经成为一个可扩展,高性能,用户友好的 Web 服务器,具有较低的内存占用空间和负载平衡设施。其中包括一个称为 cherokee-admin 的基于 Web 的管理界...阅读全文

博文 2018-05-02 09:27:32 debian.cn

谷歌开源 Pigweed:用于提升嵌入式开发效率

谷歌于 1 月下旬曾向 USPTO(美国专利及商标局)递交了名为 “Pigweed” 的新商标申请。根据申请内容来看,Pigweed 商标涵盖“计算机操作软件”。当时,人们猜测这是一款新的操作系统商标,但并未有任何相关信息提供。 昨日,谷歌毫无征兆地公布并开源了 Pigweed。与之前的猜想不同,这是一个嵌入式库(或模块)的集合。使用 Pigweed 模块可​​以在 32 位微控制器( 即嵌入单电路芯片中的小型计算机 )上实现更快、更可靠的开发。 Pigweed 提供的模块可满足嵌入式开发人员的广泛需求。从整个生命周期来看,Pigweed 从设置,到开发,再到代码提交,都能够有效提高嵌入式开发的效率。谷歌以上述开发过程为轴,围绕这几个方分别介绍了 Pigweed 的一些模块。 嵌入式空间...阅读全文

博文 2020-03-22 08:35:14 debian.cn

DNS SRV:使用DNS服务器做服务发现

,Client会按照这些SRV的权重分配请求。下一次向服务发起的请求可能发送到了不同的地址。在通过SRV记录的权重来分配请求的时候,使用的是本地缓存的DNS记录,所以不能实时地感知到服务的地址列表变化。除非将 TTL 设置的非常短暂,但这样将会频繁地查询DNS服务器。 Client查询服务地址的过程 rfc-2782中已经做了很好地介绍,这里就不表述了。 配置举例 下是DNS中 master file,可以看到有 example.com 域名提供了一个名为_foobar._tcp 的服务,这个服务有两个 SRV 记录,分别指向了 sys-box.example.com:1099 和 server.example.com:1099 $ORIGIN example.com. @ SOA...阅读全文

博文 2019-03-05 09:35:34 debian.cn

如何重启 Kubernetes 中的 Pods

到 1,那么 Pod 也不得不重启, kubectl scale deployment {deployment} --replicas=0 -n {namespace}kubectl scale deployment {deployment} --replicas=1 -n {namespace} 第二种方式:使用 yaml 文件重启Pod 当我们有 Pod 的 yaml 文件是,可以直接使用 replace 命令,来强制替换 Pod 的API对象,从而实现重启的效果: kubectl replace --force -f youpod.yaml 如果你手头没有 yaml 文件,直接使用的 Pod 对象,我们可以稍微调整一下上的命令,如下: kubectl get pod {podname...阅读全文

博文 2020-07-13 21:23:30 debian.cn

系统分析工具 Sysdig 详解

Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从运行的系统中,获取系统状态和行为,做过滤分析,功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器(如docker、coreOS、LXC)进行监控。 Sysdig 也支持windows平台和mac平台。下我们以 Linux系统为例,举例说明 Sysdig 的用法,你也可以参考官方原文。 网络 查看占用网络带宽最多的进程:sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary:sysdig...阅读全文

博文 2020-08-09 14:09:05 debian.cn

通过Prometheus查询K8S集群Pod 的CPU、内存、网络指标

(container_spec_cpu_quota{image!=""}/100000) by (pod_name, namespace)) 将上两个公式的结果相除,就得到了容器的CPU使用率: sum(rate(container_cpu_usage_seconds_total{image!=""}[1m])) by (pod_name, namespace) / (sum(container_spec_cpu_quota{image!=""}/100000) by (pod_name, namespace)) * 100 Pod内存使用率计算 Pod 内存使用率的计算就简单多了,直接用内存实际使用量除以内存限制使用量即可: sum(container_memory_rss{image!=""}) by(pod_name...阅读全文

博文 2020-08-13 20:41:03 debian.cn

除了HighScalability 还有哪些介绍网站拓扑、架构的站点

HighScalability.com 是一个经典的架构类网站,曾介绍过许多著名的大型网站的架构和扩展性方案。除了它以外,以下这些网站也提供了大量优秀的技术架构、系统设计、拓扑架构的内容,非常值得关注:🌟 一、国外权威技术博客类网站📌 1. InfoQ • 网址:https://www.infoq.com • 特点: • 覆盖分布式架构、微服务、云原生、DevOps、性能扩展、高并发系统等各方技术架构实践。 • 文章质量非常高,经常分享一线公司(Netflix、Spotify、AWS等)真实案例。📌 2. Netflix Tech Blog • 网址:https://netflixtechblog.com/ • 特点: • Netflix官方技术博客,深入介绍Netflix基础架构...阅读全文

高性能日志采集工具 logpipe 简单介绍

在集群化环境里,日志采集是重要基础设施。本文结合最新的 1.0.9 ,对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng,但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时效性要求,如果要采集正在被不断追加的日志文件,只能用 exec 采集器搭配 tail -F 命令,但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发,内存占用和性能都不能达到最优。 作为一个日志采集的本地代理,内存占用应该小而受控,性能应该高效,耗费 CPU 低对应用影响尽可能小,要能异步实时追踪...阅读全文

Redis 6 将采用全新协议RESP3 提供客户端缓存功能

缓存功能,保证存储在客户端内存的数据,在收到来自服务器的失效通知时才失效。 另外,当客户端和服务器的连接中断时,客户端无法接收到数据失效通知,这可能会导致服务出现问题。针对这种情况,一般的做法是重新建立客户端和服务器之间的连接,并更新客户端当前的缓存。antirez 表示可以一直保持连接是最好的情况,但为了降低风险,Redis 服务器在与客户端断开连接时,会将失效通知发送给其他客户端。 这项名为”Client side caching” 的功能尚未正式确定名字,最后可能会被成为”Tracking”。Redis 作者还表示在 Redis 6 候选发布之前,这些功能都会进行调整,希望社区能积极反馈意见。 由于 Client side caching 功能需要使用 RESP3 协议来支持实现...阅读全文

架构师详解 Nginx 架构

一个待处理事件的列表,使用非阻塞 I/O 方式调用“事件处理器”来处理该请求。其处理方式称为“多路 IO 复用方法”,常见的包括以下三种:select 模型、poll 模型、epoll 模型。 针对上的技术我特意整理了一下,有很多技术不是靠几句话能讲清楚,所以干脆找朋友录制了一些视频,很多问题其实答案很简单,但是背后的思考和逻辑不简单,要做到知其然还要知其所以然。如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java进阶群:433540541,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。 四. Nginx 设计架构 Nginx 服务器使用 master/worker 多进程模式。多...阅读全文

博文 2018-05-01 23:10:47 debian.cn

基于thanos搭建分布式prometheus

-receive.monitoring.svc.cluster.local。 注意让querier忽略掉receive实例返回数据中的replica标签,这样多个receive返回的相同label数据才能判定为重复并被去重。 让grafana指向querier的http 9090端口即可,下图是thanos querier界,它发现了3个receive store节点,同时对外提供和prometheus原生一模一样的查询界和API: 最后配置prometheus的remote-write将数据写入到receive集群,这个是prometheus原生配置: YAML 1234567891011 global: scrape_interval: 30s scrape_timeout: 10s evaluation_interval: 30s...阅读全文

博文 2021-03-01 13:02:46 鱼儿的博客

百度运维工程师挖矿实录:四个月用155台服务器挖矿赚10万判3年

起运维人员挖矿导致百度损失 2.7 万的事件,同样是运维人员在“涉险”,为什么是运维人员呢? “运维”人员在企业的价值,他们自己的调侃是:当企业没有发生技术故障的时候,大家感觉不到运维人员的存在。当企业发生故障的时候,大家感觉到运维人员确实没有存在的必要。 但调侃归调侃,这反映了技术运维人员在企业中临的尴尬处境,但实际上,运维人员对于一家企业运营维护的保障,确实是很重要的。他们的职责包括服务器的部署、配置、维护;互联网平台的部署、升级、迁移、数据备份恢复;监控服务器,平台的运行,系统优化等,可以说,他们掌握了企业的后门,一旦运维部门发生危险,公司有可能陷入瘫痪状态,因此,一直以来,运维人员也拥有很多访问权限,而这却变成了运维人员不惜“涉险”的一个原因之一。 于是,如何对运维人员进行权限管理...阅读全文

博文 2020-03-17 20:42:41 debian.cn

如何使用 journalctl 清理 journal 日志

的逻辑来覆盖默认设置: 主配置文件最先被读取, 优先级也最低。 所有 *.conf.d/ 中的配置文件 都会覆盖主配置文件中的设置。 所有 *.conf.d/ 中的配置文件(无论位于哪个目录中), 统一按照文件名的字典顺序处理。 当多个配置文件都设置了同一个选项的时候: (1)如果该选项仅接受一个单一值,那么仅以文件名最靠后(字典顺序)的那一个为准; (2)如果该选项可接受一个值列表,那么将会按照文件名的字典顺序将所有值列表拼接起来。 为了便于排序, 建议给所有 *.conf.d/ 中的配置文件 都加上两位十进制数字的文件名前缀。 如果系统管理员想要屏蔽 /usr/lib/ 目录中的某个配置文件, 那么最佳做法是在 /etc/ 目录中 创建一个指向 /dev/null 的同名符号链接...阅读全文

博文 2021-02-05 15:43:28 博客园

AD:为什么说 CoinEx 是一家很有潜力的数字货币交易所?

年7月 更是登顶全球交易所交易量排名榜首,成为全球产品布局最广泛的管理平台之一。与此同时,[CoinEx](http://cet.im) 已经是一个提供币币交易、杠杆交易、永续合约等多元化衍生品交易服务,支持中/英/日/韩/俄等多国语言,为全球超过一百个国家和地区提供安全、稳定、可信赖的数字资产交易服务。 在当前的大环境下,CET飙涨一路绿灯,CET及其背后的全球数字货币交易平台CoinEx走进了更多人的视线中;同样受到关注的,还有 CoinEx 即将推出的全新支持智能合约的智能链 [CoinEx Smart Chain(CSC)](https://www.coinex.org/)。市场利好条件虽说是推动 CET 币价的因素之一,但更加关键的还是CoinEx这股厚积薄发的力量。 下就详细为...阅读全文

2017 热门开源自动化测试框架优缺点对比

于断言的语法。 缺点: 多数情况下,它需要一个测试运行器(如 Karma )。 难以异步测试。 如果你正在寻找一个统一的(客户端 - 服务器)单元测试解决方案,Jasmin 可能会非常适合。 7. Mocha Mocha 是一个 JavaScript 单元测试框架,它在 NodeJs 上运行测试,主要与 ReactJS 配对使用。 优点: 内置测试运行器。 支持异步测试。 使用灵活,可使用任何符合需求的断言库(Chai、expect.js、Must.js 等)作为 Node 标准“断言” 功能的替代品。 缺点: 相对较新 (起始于 2012 年),意味着有许多的未知性和可变性,在某些方或缺乏用户基础和支持。 仅提供基本的测试结构,因此需要额外的设置和配置(对于一些可能是有利的)。 如果你正...阅读全文

博文 2017-11-15 08:52:47 debian.cn

2017年DevOps的5大发展预测

经筹集了大量资金,它们将临获得这些投资回报的压力。”Wrabetz提到。她认为这种整合在DevOps工具市场上是非常需要的。 进一步容器化 2016年,我们见证了大规模容器化,但是Morpheus数据公司技术运营总监兼系统架构师Greg Willis认为,由于工具变得更加稳定,且容器生态在编排工具的作用下更加巩固,我们将会见到进一步容器化。他说,“正如虚拟化技术让企业适应从物理机向虚拟机的转变,我们将会看见企业更多的将工作负载运行在诸如AWS ECS、Kubernetes、DCOS、Docker数据中心等平台上。” 统一开发、安全和运维 如果说2016年是运维安全的崛起,尤其是Docker对安全的更新,那么2017年我们将见到开发、安全和运维的统一。CA Technologies公司...阅读全文

博文 2021-01-28 17:50:18 debian.cn

Systemd 及 Service 文件含义解析

/etc/systemd/system/ 目录中的单元文件的优先级总是高于 /usr/lib/systemd/system/ 目录中的同名单元文件。注意,当/usr/lib/ 中的单元文件因软件包升级变更时,/etc/ 中自定义的单元文件不会同步更新。此外,你还得执行 systemctl reenable ,手动重新启用该单元。因此,建议使用前一种利用 *.conf 的方法。 可以使用 journalctl 来查看 systemd 管理服务的启动日志: ``` journalctl -b -0 # 显示本次启动的信息 journalctl -b -1 # 显示上次启动的信息 ``` 参考阅读 ArchLinux 的 Systemd (简体中文) 文档:https...阅读全文

博文 2021-02-17 10:02:50 joseph

开源简史基础:Linux基金会

伦堡的 SUSE 办公室。 而在2012年2月1日,Linux基金会官方发文正式宣称GKH加入。 https://www.linuxfoundation.org/press-release/2012/02/leading-kernel-maintainer-greg-kroah-hartman-joins-the-linux-foundation/ Linux基金会的执行董事Jim Zemlin对GKH更是赞不绝口,“Greg是这个世界上最具天赋的软件开发者之一,他将会对Linux的发展提供无与伦比的贡献。”,并表明GKH的工作将会聚焦于Linux内核方。 会员类别与年费 Linux基金会的会员分为企业会员和个人会员,而企业会员又分为白金会员、黄金会员和白银会员三种。 会员类别企业/个人会...阅读全文

AWS省钱攻略:预留实例怎么玩

m5.2xlarge 类型的 Windows 的标准RI,由于计算需求改变,我们需要 m5.4xlarge 的实例以满足业务需求,那么我们可以将两个 m5.2xlarge 的 RI 合并成一个 m5.4xlarge。 同样我们也可以将 m5.4xlarge 进行同实例类型的大小拆分。 场景四:回到上的场景二,您在新加坡区域有个 m5.4xlarge 的 Windows 实例在运行 ,且当前我有一个 m5.2xlarge 的标准 RI,一个 m5.xlarge 的标准RI,那么这种情况下能不能再购买一个 m5.xlarge 的标准Windows RI 进行合并操作呢?这种情况下则无法通过购买 m5.xlarge 标准 RI 合并为 m5.4xlarge 标准RI。 这里就要提到标准RI拆分合并的限制:标准预留...阅读全文

博文 2019-08-18 18:26:19 debian.cn

linux下查看系统socket读写缓冲区_eyucham的专栏

/proc/sys/net/core/rmem_max 131071 131071:tcp 或 udp 接收缓冲区最大可设置值的一半。 也就是说调用 setsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 时rcv_size 如果超过 131071,那么 getsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 去到的值就等于 131071 * 2 = 262142 [root@ www.linuxidc.com]# cat /proc/sys/net/core/wmem_max 131071 131071:tcp 或 udp 发送缓冲区最大可设置值得一半。 跟上同一个道理 3...阅读全文

博文 2021-01-26 16:21:35 CSDN博客

亚马逊12个月免费云服务

热线、在线聊天支持。作为全球云服务的龙头企业,亚马逊云计算拥有最广泛的全球云计算基础设施,全球节点丰富,为网站的快速稳定访问提供基础设施保障。配合亚马逊全球CDN节点,能满足不同国家独立站访问速度需求。1.什么是云服务器?云计算服务器(也称云服务器或云主机)是云计算服务系统中的主机产品,有效解决了传统物理主机中管理难度大、业务扩展性弱的缺陷。在实际应用中,云主机具有三个方的灵活性:主机服务配置和业务规模可根据用户需求配置,可灵活调整。用户申请的主机服务可以快速供应和部署(实时在线开通),实现集群内灵活可扩展的收费模式,用户无需支付押金,有多种支付模式供用户选择。2.云服务器适合什么样的用户?关注主机服务性价比的用户;需要快速实现分布式部署的用户;需要灵活扩展业务的用户;对系统高可用性和快速...阅读全文

Stackstorm 入门介绍

可扩展套件,与你的基础环境交互,执行流程如下: 从各个服务系统通过push或pull的方式把event传给sensors, sensors会产生一个trigger到规则配置中查询该trigger对应的动作或者工作流将来自工作流的Action发送到消息队列(内置rabbitmq)中Actions到达外部的系统后就执行相应的动作日志和审计历史被推送到数据库进行存储(Mongodb)处理后的结果被发送回规则引擎进行进一步处理 Stackstorm的更新非常活跃,最新的发布信息从官方网站上可以看到。目前最新的本是 2.10.1。 Stackstorm工作原理 目录...阅读全文

Rust 1.37.0 稳定版发布

。 cargo vendor 已经在生产中使用过很多种情况:Rust 编译器 rustc 使用它在发行 tarball 中传递它的所有依赖项,而具有 Monorepos 的项目使用它在源代码管理中提交依赖项的代码。 对宏使用未命名的 const 现在可以创建未命名的 const。相比给常量一个显式的名称,只需将其命名为 _ 。例如,在 rustc 编译器中: /// Type size assertion where the first parameter /// is a type and the second is the expected size. [macro_export] macro_rules! static_assert_size { ($ty:ty, $size:expr...阅读全文

博文 2019-08-17 21:17:23 debian.cn

Calico 介绍、原理与使用-腾讯云社区

发现,Calico 项目实际上将集群里的所有节点,都当作是边界路由器来处理,它们一起组成了一个全连通的网络,互相之间通过 BGP 协议交换路由规则。这些节点,我们称为 BGP Peer。而 Flannel host-gw 和 Calico 的唯一不一样的地方就是当数据包下一跳到达node2节点容器时发生变化,并且出数据包也发生变化,知道它是从veth的设备流出,容器里的数据包到达宿主机上,这个数据包到达node2之后,它又根据一个特殊的路由规则,这个会记录目的通信地址的cni网络,然后通过cali设备进去容器,这个就跟网线一样,数据包通过这个网线发到容器中,这也是一个二层的网络互通才能实现。Route Reflector 模式(RR)(路由反射)设置方法请参考官方链接 https...阅读全文

博文 2025-02-19 15:44:39 腾讯云

为何说微软不会基于Linux内核重构Windows

(translation layer)转换为 WSL 2 中的虚拟化内核,因此重新实现利用 Linux ABI 的数十种非标准方式是非常痛苦的事情。为微软拥有的 Linux 上的SQL Server 提供一个 NT 相关的兼容层是一回事,为其他数百万开发者的应用提供保证是另一回事。 3.微软投入巨大 近年来,微软在 Windows 上倾注的人力物力已经无法计算。微软在 Windows 10 的可用性、新功能、性能改进等多方进行了优化投资,并取得了回报。在这些改进的基础上,通过和 OEM 厂商的合作,以及推出 Surface 品牌,已经帮助振兴了 PC 市场。 微软一直在努力使 Windows 成为一个优秀的开发平台,其项目包括 Windows Terminal、PowerToys、Windows...阅读全文

博文 2020-10-15 14:59:58 debian.cn