，VPC IP泄露的问题得到解决。 下图可以总结上面描述的第二个Sandbox容器诞生的原因。 事情离真相大白还有一段距离。还有一个问题需要回答： 为什么kubelet在删除第二个Sandbox容器的时候， 调用CNI拆除容器网络时，传入了不正确的NETNS环境变量参数？ 失去的NETNS 还记得前面介绍kubelet工作核心循环syncLoop的时候，里面提到的定期清理事件(HouseKeeping)吗？HouseKeeping是一个每隔2s运行一次的定时任务，负责扫描清理孤儿Pod，删除其残余的Volume目录并停止该Pod所属的Pod worker goroutine。HouseKeeping发现Job Pod进入Completed状态后，会查找该Pod是否还有正在运行的残余容器，如有则请理...阅读全文
于在 Kubernetes 平台上简化证书管理的软件，它支持对接许多不同的证书源，如 Let's Encrypt 和 HashiCorp Vault。 如果你在使用 Apache APISIX Ingress Controller 时，遇到了证书管理的麻烦，那么使用 Cert Manager 将会是一个不错的选择，本文将介绍如何通过 Cert Manager 来创建证书并对接到 Apache APISIX Ingress Controller。 步骤一：环境准备 如果你希望按照本文的指导进行实际的操作，请确保以下环境和工具已准备就绪： 准备一个可用的 Kubernetes 集群，开发环境中，你可以使用 Kind 和 Minikube 安装 kubectl 安装 Helm v3 请注意，下文所...阅读全文
用的也比较多，所以要比flannel的方式好，而这些路由信息都是由BGP client传输。为什么叫边界网关协议呢？和 flannel host-gw 工作模式基本上一样，BGP是一个边界路由器，主要是在每个自治系统的最边界与其他自治系统的传输规则，而这些节点之间组成的BGP网络是一个全网通的网络，这个网络就称为一个BGP Peer。启动文件放在 /opt/cni/bin 目录下，/etc/cni/net.d 目录下记录子网的相关配置信息。代码语言：javascript复制$ cat /etc/cni/net.d/10-calico.conflist { "name": "k8s-pod-network", "cniVersion": "0.3.0", "plugins...阅读全文
用，容器之间相互隔离，并且能按需分配资源。大大提高了运维效率和资源利用率 架构 Docker使用了 C/S 体系架构，Docker 客户端与 Docker 守护进程通信，Docker 守护进程负责构建，运行和分发 Docker 容器。Docker 客户端和守护进程可以在同一个系统上运行，也可以将Docker客户端连接到远程Docker守护进程。 我们日常在命令行的操作 docker build, docker push, docker pull, docke build 等等操作都是客户端通过 rest api 请求与 Docker 守护进程交互。 实现原理 下面我们就介绍一下 Docker 在实现隔离，资源控制，文件系统等关键部分所采用的的技术 Namespace Linux manaul...阅读全文
据Android Police报道，谷歌的全新操作系统Fuchsia正在Pixelbook平台上进行测试。测试的项目是打开开发者模式和实现USB启动。Pixelbook发布于今年10月份，运行Chrome OS系统，采用12.3寸触控屏幕，QHD分辨率高清屏，像素密度高达235ppi，支持背光的软触键盘，可选酷睿i5/i7处理器、最高16GB内存+512GB 存储，10小时电池续航，拥有2× USB-C接口。 此前，Fuchsia还支持了宏碁的Switch Alpha 2和Intel NUC，看起来测试的范围相当广泛。 资料显示，Fuchsia最大的不同的是，拒绝使用Linux内核，而是启用了自己开发的微内核Magenta（或者说Zircon）。 Fuchsia使用了多种语言，包括C...阅读全文
Debian 发行团队发布了有关即将到来的 Debian 10 “Buster” 的最新信息。Debian 发行团队目前计划在 2019 年 1 月 12 日开始往冻结状态过渡，2019 年 2 月 12 日处于软代码冻结状态 (Soft Freeze)，并最终于 2019 年 3 月 12 日左右进行全面冻结。 据表示，官方发布 Debian 10.0 “Buster” 的时间将是明年年中左右。 此外，对于 Debian 11 “Bullseye”，他们希望能通过持续集成、自动打包测试等方式引入更多的自动化 QA 测试，而根据过去的发布时间，Debian 11.0 可能会在 2021 年发布， 而 Debian 12 的代号也已经确定，被命名为“Bookworm”。显然，还要再过好几年才...阅读全文
，Debian 11 Bullseye 的第一个里程碑“过渡和构建基础冻结”将会发生在 2021 年 1 月 12 日；第二个里程碑“软冻结”于 2 月 12 日，新增的第三个里程碑“硬冻结”在 3 月 12 日，而第四个里程碑“完全冻结”日期还未定。...阅读全文
。 Roger Dingledine 还表示目前项目最需要的是 Windows 开发者，他说大多数 Tor 项目的员工都是 Linux 用户，但 Tor 项目的用户大多数是 Windows 平台上的用户，所以他们需要熟悉微软操作系统的开发者。 来自：The Register...阅读全文
值服务中很普遍。同样，410响应也被用于通知客户端在当前服务器站点上，原本属于某个个人的资源已经不再可用。当然，是否需要把所有永久不可用的资源标记为’410 Gone’，以及是否需要保持此标记多长时间，完全取决于服务器拥有者。 411 服务器拒绝在没有定义 Content-Length 头的情况下接受请求。在添加了表明请求消息体长度的有效 Content-Length 头之后，客户端可以再次提交该请求。 412 服务器在验证在请求的头字段中给出先决条件时，没能满足其中的一个或多个。这个状态码允许客户端在获取资源时在请求的元信息（请求头字段数据）中设置先决条件，以此避免该请求方法被应用到其希望的内容以外的资源上。 413 服务器拒绝处理当前请求，因为该请求提交的实体数据大小超过了服务器愿意或者...阅读全文
的选择方式。 在Shakespeare服务里使用这个模型，需要SoT来独立指定每个集群的前端二进制版本。 基于intent的推出允许推出影响并行运行的相同asset——这在基于actuation的推出中是不可能的。唯一的约束是这些推出必须修改asset的不同方面——比如，一个推出可能会更改二进制版本，而另一个推出可能会更新标志。 — 7 — 验证 启动更新后，Annealing将评估影响，以确定推出是否可以继续，或者是否应停止甚至回滚。此步骤是自动的——我们不鼓励早期阶段之后手动验证推送。 会在两个层面检查推出中的服务健康状态： Enforcer级别：一些Annealing插件有内置的asset特定的健康检查。如果有问题发生，推送被标记为失败。Strategist级别：当选择并且更新一些...阅读全文
近日全球著名开源社区 Apache 基金会，宣布“百度开源的 ECharts 项目全票通过进入 Apache 孵化器”。这是百度第一个进入国际顶级开源社区的项目，也标志着百度开源正式进入开源发展的快车道。 ECharts 成为 Apache 孵化器项目之前，已经是国内可视化生态领域的领军者，近年内连续被开源中国评选为“年度最受欢迎的中国开源软件”，并广泛被各行业企业以及事业单位、科研院所应用。涉及行业包含金融、教育、医疗、物流、气候监测等众多领域，其中甚至包括阿里巴巴、腾讯、华为、联想、小米、国家电网、中国石化等。 ECharts 负责人祖明介绍到：“ ECharts 作为拥有丰富的可视化图表类型和深度交互能力的开源可视化库，配置便捷容易上手，同时上千的配置项和不同层面的扩展机制带来了灵活...阅读全文
，Go 1 更多的是确保能快速构建包含很多独立软件包的程序。Go 2 的目标是通过允许带有类型参数的参数多态来解决编写 Go 库的问题，这些问题抽象出了不必要的类型细节。 此外，除了预期的容器类型之外，开发团队还希望能编写有用的库来操作任意的 map 和 channel 值。理想方案是编写能够同时操作 [ ]byte 和 string 值的多态函数。 type List(type T) []T func Keys(type K, V)(m map[K]V) []K 更多细节请查阅Golang 2 设计草案页面。...阅读全文
也将对 django-developers 列表的成员开放。 James Bennett 表示，删除拥有超高权利的“提交者”角色，以“贡献者”和“合并者”取而代之，将有助于让项目对一般人更加开放，并让提交流程更制度化。虽然这个方法不能立马解决贡献者不足的问题，但却是能更好的解决这个问题的途径。技术委员会权利的提高，可能并非最佳解决方案，但却是在必要时打破僵局、避免混乱的手段。技术委员会上面还有中立的管理者 DFS（Django 软件基金会）。 据悉，该提案细节仍在不断完善中，James Bennett 仍在收集反馈并根据反馈对提案进行调整，预计在下个月会以合理的形式进行投票表决。James Bennett 最后表示，希望在 2019 年年中，Django 能以新提案的模式运作，并有效解决现有...阅读全文
来对 Harbor 项目的支持和贡献。新的一年，Harbor项目组将继续携手社区进一步完善Harbor的功能特性，共同将Harbor打造成云原生领域的最佳容器镜像管理软件！让我们一起祝愿2019年，Harbor项目百尺竿头，更进一步！ 欢迎下载使用Harbor v1.7： https://github.com/goharbor/harbor/releases/tag/v1.7.0...阅读全文
Metasploit 项目是一个旨在提供安全漏洞信息的计算机安全项目，可以协助安全工程师进行渗透测试(penetration testing)及入侵检测系统签名开发。Metasploit 项目知名的功能还包括反取证与规避工具，其中的某些工具已经内置在 Metasploit Framework 里面。 Metasploit Framework —— 一套针对远程主机进行开发和执行 “exploit代码” 的工具，是 Metasploit 的最为知名的子项目。Metasploit Framework 全称为 The Metasploit Framework，简称 MSF。这是一个渗透测试的框架，不是一个直接的渗透测试攻击软件。Metasploit 作为全球最受欢迎的工具，不仅仅是因为它的方便性...阅读全文
Amazon 应用。Ubuntu 上的 Amazon 图标一直就挂在桌面，这早已被人吐槽，因为它比较鸡肋，相关调查数据也反映了这一点。此次变化，特别是对于普遍不习惯首选 Amazon 购物的中国人来说，是一大好事。 Ubuntu 20.04 将使用 Linux 5.4 内核，该版本具有内核锁定模式和 exFAT 支持等新特性。 内核锁定功能主要是为了防止 root 帐户篡改内核代码，从而在用户态进程和代码之间划清界限。启用该功能后，即便是 root 帐户也无法访问某些内核功能，从而保护操作系统免受受损的 root 帐户影响。 exFAT 文件系统则是 FAT32 的替代者，它由微软开发，但是不仅用于 Windows 系统，目前 exFAT 在整个电子行业中都得到了广泛应用，特别是 SD 卡、USB 闪...阅读全文
，ARM会增加更多高级功能，比如VRS可变帧率渲染、RT光线追踪及其他高级渲染技术等。在ARMv9中，最重要的一项挑战其实是数据安全，这一次ARM推出了全新的CCA机密计算体系架构，基于之前的TrustZone安全技术，但引入了动态域技术，它对操作系统及管理程序来说是完全不透明的，不会被系统或者软件提权攻击，而且依然可以接受管理及调度。总之，ARM今天公布的ARMv9指令集极具创新，是未来10年3000多亿ARM芯片的基础，不过现在具体的细节还很少，只是一个初步的路线图，今年夏天还会公布更多详细内容。至于ARMv9处理器的商业化，预计会在2022年早些时候进入市场。...阅读全文
单独存储，除了减轻配置中心与注册中心的工作压力之外，还为将来 更丰富的服务治理 打下基础。未来，Dubbo 会基于元数据中心提供服务测试、服务 Mock 以及服务 API 管理等特性。针对三个中心的分离，Dubbo 还会配套发布全新设计的 Dubbo Ops 控制台 。另外，2.7.x 会是 Dubbo 在 Apache 软件基金会 毕业的版本 ，安装包包名正式切换到了 org.apache.dubbo，为了保证向前的兼容性，我们还在这个版本中提供了 com.alibaba.dubbo 的兼容包。 Dubbo 2.7.0 具体更新内容 如下： （环境要求：需要 Java 8 及以上版本支持） 新增功能 服务治理规则增强。更丰富的服务治理规则，新增应用级别条件路由、Tag 路由等治理规则与注册...阅读全文
没有人在做任何竞选活动。” 为什么大家都不愿担任领导人呢？ Debian 领导人的主要职能有两项：一方面是代表 Debian 到世界各地，在会议上进行分享，同时处理项目与其它团队和公司的关系；另一方面是行政上的，领导人要管理项目资金，任命开发者在项目中担任不同角色，并负责项目中的一些细节。 但是公开信中也指出，实际上，因为 Debian 项目把各种各样的权限都下放到社区成员中，导致领导人的实权实际上并没有多少。比如，个别开发者几乎可以完全控制他们维护的软件包；开发人员之间的技术分歧很大的时候，将由项目技术委员会处理；发布管理者与 FTP 主人有权最终决定项目实际发布的内容，以及何时发布；项目秘书负责确保遵循必要的程序；政策团队处理项目的大部分总体设计。 另一方面，Debian 领导人这个职位...阅读全文
Williams 却坚持认为取代 live-build 很有必要。Learmonth 给 live-build-ng 换了一个争议性也许小一些的名字： live-wrapper 。他说他的目标是为 Debian Live 项目加入新的工具（并且「把 Debian Live 项目引入 Debian 里面」），但是完成这件事还需要很大的努力。 我向已经被 ITP 问题所困扰的每个人道歉。我们已经告知大家 live-wrapper 还不足以完全替代 live-build 且开发工作仍在进行以收集反馈。尽管有了这部分的工作，我们收到的反馈缺并不是我们所需要的。 这种对于取代 live-build 的强烈反对或许已经被预知到了。自由软件社区的沟通和交流很关键，所以，计划去替换一个项目的核心很容易引起争议——更何况是...阅读全文
很多人误以为shell脚本只能在命令行下使用。其实shell也可以调用一些GUI组件，例如菜单，警告框，进度条等等。你可以控制最终的输出，光标位置还有各种输出效果。下面我将介绍一些工具，帮助你创建强大的，互动的，用户友好的 Unix/Linux shell脚本。我在FreeBSD和Linux下测试过这些工具，不过其他UNIX系列的操作系统应该都支持的。 1. notify-send 命令 这个命令可以让你通过通知进程发送一个桌面通知给用户。这可以用来向用户发送提示，或者显示一些信息而不用打断用户工作。你需要安装如下软件包： $ sudo apt-get install libnotify-bin 下面这个例子展示了如何从命令行向桌面发送一个简单的消息： notify-send...阅读全文
在构建 Docker 容器时，应该尽量想办法获得体积更小的镜像，因为传输和部署体积较小的镜像速度更快。但 RUN 语句总是会创建一个新层，而且在生成镜像之前还需要使用很多中间文件，在这种情况下，该如何获得体积更小的镜像呢？ 你可能已经注意到了，大多数 Dockerfiles 都使用了一些奇怪的技巧： FROM ubuntu RUN apt-get update && apt-get install vim 为什么使用&&？而不是使用两个 RUN 语句代替呢？比如： FROM ubuntu RUN apt-get update RUN apt-get install vim 从 Docker 1.10 开始，COPY、ADD 和 RUN 语句会向镜像中添加新层。前面的示例创建了两个层而不是一...阅读全文
网用例。 ACRN占用的空间很小，部分原因是管理程序只需要25000行代码。已经有来自凌华科技，Aptiv，英特尔公司，LG电子和东软公司等公司的参与，而且很可能还会有更多的厂商加入这个列表。...阅读全文
port 端口号如需只允许 UDP 入站：1sudo ufw allow proto udp from 中转机地址 to any port 端口号以上命令中，中转机地址 为 NAT VPS 的公网 IP 地址。其他系统、其他防火墙控制软件的操作与之类似，放行来自 NAT VPS 的 IP 的指定端口号即可。 一些大陆 NAT VPS 商注：本小节包含的链接含有 aff 值。CloudIPLC：热门稳定，价格合理，需要及时关注补货情况碳云：价格较低，年付套餐手慢则无AkkoCloud：二次元风格的网站，产品同样抢手 ReferencesHow to open and close ports on RHEL 8 / CentOS 8 LinuxPort ForwardingNAT 主机的正确食用方法通...阅读全文
，来激发下属的上进心和荣誉感的方法。团队领导树立那些多方面或某一方面表现突出、有重要贡献的先进模范人物为榜样，引导和号召其他人向他们学习，并努力去仿效和超越他们，从而使下属的工作积极性和创造性可以充分地发挥出来。8、数据激励法数据激励法是指领导者在详细登记、统计下属的各种工作情况数据的基础上，通过大会讲评、公开张榜和填写评比表等形式予以公布，使下属对自己和团队全局的情况有所掌握，从而明确以后的努力方向，进一步鼓舞信心和斗志。...阅读全文
码的困境结束，从而实现更快的开发。 简而言之，Web框架可以简化Web开发。 如果您想深入了解Web框架及其优点，请点击此处。 为什么Django是Python开发者的最佳选择 Django是一个Python编写的，高级的，MVC风格的开源库。 Django也被称为“完美主义者的最终框架”，它最初是为新闻网站设计的，因为它允许开发人员编写数据库驱动的Web应用程序，而无需从头开始编码。 除了更快完成常见的Web开发任务，Django还可以保持设计干净且实用。 Django是Python Web开发新人的最佳选择，因为官方文档和教程是几个（同类）软件开发框架中最好的。 技术市场充斥着一系列网络框架，但Django在最受欢迎的服务器端Web框架里处于顶峰位置。设计Django背后的座右铭很简单...阅读全文
最近有时间，都在看Go，感觉Go语言真的不错，具体自行百度。今天简单说一下算法。 什么是算法一系列的计算步骤，用来将输入数据转化成输出结果算法的意义用于解决特定的问题解决同一个问题的不同算法的效率常常相差非常大，这种差距的影响往往比硬件和软件方面的差距还要大。 算法在我们编程开发中，还是不可或缺的。下面简单来列举一下go语言常见的十大算法。 BubbleSort(冒泡排序) func Sort(list []int, left, right int) { if right == 0 { return } for index,num := range list { if index < right && num > list[index + 1] { utils.SwapGo(list...阅读全文
ghcr.io/vmware-labs/php-wasm 7.4.32-cli-aot 63460740f6d5 44 minutes ago 5.35MB 这是意料之中的，因为对于 Wasm，我们只需要在容器内添加可执行二进制文件，而对于传统容器，我们仍然需要来自运行二进制文件的操作系统的一些基本库和文件。这种大小差异对于第一次拉取镜像的速度以及进行在本地存储库中占用的空间非常有帮助。Wasm 可移植性Wasm 最大优势之一就是它的可移植性。 当人们想要一个可移植的应用程序时，Docker 已经提供了传统的容器作为一种选择。 然而，除了镜像特别大之外，传统容器还绑定到它们运行的平台架构。 作为程序员，相比许多人都经历过这种坎坷：针对不同的架构，必须构建支持的软件版本，并为每种架构打包对应镜像...阅读全文
Label、Namespace 等概念非常适合用来构建上下文信息。3、繁多监测系统，造成监测界面不一致复杂系统带来的一个严重副作用就是监测系统繁多。数据链路不关联、不统一，监测界面体验不一致。很多运维同学或许大多都有过这样的体验：定位问题时浏览器打开几十个窗口，在 Grafana、控制台、日志等各种工具之间来回切换，不仅非常耗时巨大，且大脑能处理的信息有限，问题定位效率低下。如果有统一的可观测性界面，数据和信息得到有效地组织，减少注意力分散和页面切换，来提高问题定位效率，把宝贵时间投入到业务逻辑的构建上去。二、解决思路与技术方案为了解决上述问题，我们需要使用一种支持多语言，多通信协议的技术，并在产品层面尽可能覆盖软件栈端到端的可观测性需求，通过调研，我们提出一种立足于容器界面和底层操作系统，向上关联...阅读全文
!版权声明：本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 目录[-] 参考地址： Nacos 官方文档 系统环境： Nacos 版本：1.4.1 Mysql 版本：8.0.19 Kubernetes 版本：1.20.1 项目示例地址： Kubernetes 中部署 Nacos 的部署文件 Kubernetes 中部署 Mysql 数据库部署文件 如果该文章对你有帮助，别忘了 Github 帮忙点颗星哦~ 一、什么是 Nacos Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。 Nacos 支持如下核心特...阅读全文
域名，是用以简化记录服务器IP地址的马夹，所以，域名只有通过解析到具体的IP地址才能访问网站，就相当于给IP地址穿上的一件马夹，避免我们去记那一长串的数字。可以说，域名的价值是依托于服务器的，没有域名的服务器，可以用IP地址访问，而不解析的域名，就仅仅只是一串字符而已。 商标，是用以区分商品(或服务)来源的一种显著标志，不同公司提供的相同商品，对于大众而言，商品上印刷的标志，代表的就是不同公司。商标的价值，是依托于产品和公司的。 由这一点来看，商标和域名是有其相似性的，广义上来说，它们都是一种指代的符号而已。 但是，域名由于其技术特性，它是虚拟的和全球唯一的，同样的域名不可能同时被两个人注册，它遵循着先注先得的原则，而商标，则允许在不同领域，由不同的人持有相同的商标，比如中国的“中华...阅读全文
。2017年后，Oracle被爆SPARC部门进行裁员，逐渐地，Oracle也逐渐放弃了SPARC的开发。有分析师认为，从内部看，是公司领导人重视硬件，忽视软件的结果；也有人认为其硬件搭配软件方式限制了他后来的发展。SUN作为开源架构的代表它的凋亡令人惋惜，但DEC Alpha的消亡则是因为其生态太过封闭而造成的。据相关资料显示，DEC公司将所有和Alpha处理器相关的配件和外设都自己生产，不过为桌面电脑开发的主板却不支持SMP，而当时几乎所有采用Alpha处理器的公司都会使用多处理器系统，因此DEC公司所推出的桌面机型很没竞争力。另外，他们也一直不支持免费开源操作系统，这也成为了他们败走的一个原因。1998年，DEC因为财务原因，将Alpha架构与DEC的大部分内容一起出售给了Compaq。但已经...阅读全文
Intro Dapr 官方团队已于最近（2021.1.17）正式发布Dapr v1.0，Dapr已正式生产可用，可以部署到自托管环境或 Kubernetes 集群。对于绝大多数开发者来说，想必对Dapr只是有所耳闻，而具体是什么（What），可以解决什么样的问题（Why&How），有怎样的应用场景（Where），并不知悉。本文就尝试简要梳理下Dapr，并尝试回答以上问题。 What's Dapr Distributed Application Runtime. An event-driven, portable runtime for building microservices on cloud and edge. 分布式应用运行时。一个事件驱动、可移植的运行时用于在云上和边缘计算上构建...阅读全文
)确定决策并写出状态转移方程：因为决策和状态转移有着天然的联系，状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策，状态转移方程也就可写出。但事实上常常是反过来做，根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。 (4)寻找边界条件：给出的状态转移方程是一个递推式，需要一个递推的终止条件或边界条件。 一般，只要解决问题的阶段、状态和状态转移决策确定了，就可以写出状态转移方程（包括边界条件）。 实际应用中可以按以下几个简化的步骤进行设计： （1）分析最优解的性质，并刻画其结构特征。 （2）递归的定义最优解。 （3）以自底向上或自顶向下的记忆化方式（备忘录法）计算出最优值 （4）根据计算最优值时得到的信息，构造问题的最优解 算法实现的说明 动态规划的主要难点在...阅读全文
打印“Hello World！”，进而要他们记忆 printf 的各种“格式字符”的意义，要他们实现各种复杂格式的打印输出，甚至要求打印到文本文件里，然后再读出来…… 可是殊不知，这种输出输入操作其实根本不算是语言的一部分，而且对于掌握编程的核心概念来说，都是次要的。有些人的 Java 课程进行了好几个星期，居然还在布置各种 printf 的作业。学生写出几百行的 printf，却不理解变量和函数是什么，甚至连算术语句和循环语句都不知道怎么用！这就是为什么很多初学者感觉编程很难，我连 %d，%f，%.2f 的含义都记不住，还怎么学编程！ 然而这些野鸡大学的“教授”头衔是如此的洗脑，以至于被他们教过的学生（比如我女朋友）到我这里请教，居然骂我净教一些没用的东西，学了连 printf 的作业都没...阅读全文
](https://www.kubeflow.org/docs/components/training/tftraining/)资源，可以轻松创建上面提到的 TensorFlow 分布式策略。TFJob 可以识别容器化的 TensorFlow 代码中定义的分布式策略，并可以使用一组内置组件和控制逻辑对其进行管理。使得在 Kubeflow 中实现 TensorFlow 的分布式训练成为可能的组件包括： - Chief：组织分布式训练并执行模型检查点。 - Parameter Server：协调异步分布式训练和计算梯度。 - worker：执行学习任务。 - Evaluator：计算和记录评估指标。 上述组件可以在 TFJob 中配置，TFJob 是一个用于 TensorFlow 训练的 Kubeflow...阅读全文
高可用性。使Prometheus高可用的一种方式是运行多个实例去scraping相同的作业。这些实例在抓取指标时会因微小的时间间隔差异而在数据中产生细微差异。此外，如果其中一个实例宕机了几个小时，那么当查询转发到该实例时，将会出现数据空白。如果我们使用grafana这样的工具将指标展示为图形，我们可能会得到不同的样本值或有数据缺失的图形。可以将Cortex配置为从多个HA Prometheus实例读取数据。它从一个主实例main接受指标，并从其他实例放弃该度量。一旦这个副本掉线，Cortex会无缝切换到另一副本并将其标记为主副本main。为此，Cortex着眼于两个标签，一个共同的标签与一个集群（或一组Prometheus）相关联，另一个识别副本。全局指标视图可以将Prometheus实例配...阅读全文
消息的同步方式，有效值为 automatic 和manual 2. 通过监控面板设置镜像队列 请注意一个事实，镜像配置的 pattern 采用的是正则表达式匹配，也就是说会匹配一组。 RabbitMQ集群节点失效，MQ处理策略： 如果某个 slave 失效了，系统处理做些记录外几乎啥都不做：master 依旧是master，客户端不需要采取任何行动，或者被通知 slave 失效。 如果 master 失效了，那么 slave 中的一个必须被选中为 master。被选中作为新的 master 的 slave 通常是最老的那个，因为最老的 slave 与前任 master 之间的同步状态应该是最好的。然而，特殊情况下，如果存在没有任何一个 slave 与 master 完全同步的情况，那么前任...阅读全文
受限于机器总线的数量，在32位机器上，有32条总线，每条总线有高低两种电位分别代表 bit 的 1 和 0，那么可访问的最大地址就是 2^32bit = 4GB，所以说 32 位机器上插入大于 4G 的内存是无效的，CPU 访问不到多于 4G 的内存。 但 64位机器并没有 64位总线，而且其最大内存还要受限于操作系统，Linux 目前支持最大 256G 内存。 根据虚拟内存的概念，在 32 位系统上运行 64 位软件也并无不可，但由于系统对虚拟内存地址的结构设计，64位的虚拟地址在32位系统内并不能使用。 直接操作物理内存 操作系统使用了虚拟内存，我们想要直接操作内存该怎么办呢？ Linux 会将各个设备都映射到 /dev/ 目录下的文件，我们可以通过这些设备文件直接操作硬件，内存也不例外...阅读全文
要给唯一id，以及对应的版本号。/config: 集群配置信息。/controller：kafka集群当中的控制器信息，控制器组件（Controller），是Apache Kafka的核心组件。它的主要作用是在Apache ZooKeeper的帮助下管理和协调整个Kafka集群。/controller_epoch：主要用于保存记录controller的选举的次数。/isr_change_notification：isr列表发生变更时候的通知，在kafka当中由于存在ISR列表变更的情况发生,为了保证ISR列表更新的及时性，定义了isr_change_notification这个节点，主要用于通知Controller来及时将ISR列表进行变更。/latest_producer_id_block...阅读全文
消耗，更快的进入全速运行状态。 Java Flight Recorder(JFR) JFR 全名是 Java Flight Recorder（Java 飞行记录仪）。众所周知，JFR 是 Oracle JDK 的商业收费功能，需要付费才可使用，虽然后期通过 OpenJDK 11 开源，但 Java 8 的用户群体无法使用且该部分人群较为庞大。因此，阿里巴巴开源 Dragonwell JDK 之时，便决定将该功能移植到 Alibaba Dragonwell 8 中供开发者使用。Java 开发人员可以通过 JFR 收集 JVM 运行过程中的详细 profiling 信息，配合 Java Mission Control (JMC), 提高 Java 应用的问题诊断及性能优化效率。 在本次的 GA...阅读全文
在集群化环境里，日志采集是重要基础设施。本文结合最新的 1.0.9 版，对 logpipe 做一个简单的介绍。开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail -F 命令，但 tail -F 命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如 logstash 由于是 JAVA 开发，内存占用和性能都不能达到最优。 作为一个日志采集的本地代理，内存占用应该小而受控，性能应该高效，耗费 CPU 低对应用影响尽可能小，要能异步实时追踪...阅读全文
会凸显出来，新人有时候有着和你不同的工作背景，甚至现在都做着不同的工作内容，这时候你之前写的文档他们就很难读懂了。 所以在写文档之前请明确你文档可能的读者会是哪些人，然后针对他们的特点着重关注如何才能让他们理解。当然，文档也不一定要非常严肃和完美，只要能向你潜在的读者说明问题即可。 记住文档是写给别人看的，不是给自己看的。 根据专业水平可以大致将读者分为三种 新手、老手和专家，针对不同水平的人写作需要有侧重点。比如针对新手，你需要重点介绍下里面涉及到的术语和概念，然后详细讲解具体的的实现。相反，针对专家 你可以省去这些额外的信息。注意，这里没有严格的标准，因为有些文章新手会看，专家也会看， 这里还是需要具体情况具体分析。 另外一种对读者分类的方式就是根据读者阅读文档的目的来分类，比如有人知道...阅读全文
在 macOS 上安装 Nessus 10 macOS安装Nessus一、下载二、 安装三、初始化登录四、 安装插件和创建配置文件五、重启服务编译插件六、验证七、如何更新插件 macOS安装Nessus 修复部分破解方法在安装Nessus10重启之后重置授权问题。 一、下载 下载 macOS：https://sysin.org/blog/macOS/ 下载 Nessus：https://sysin.org/blog/nessus-10/ 或者链接：https://pan.baidu.com/s/1DrkX1nbysFgdmbO4657JIg?pwd=9jxl 提取码：9jxl 下载插件： 插件版本202301231642 链接：https://pan.baidu.com/s...阅读全文
Seafile 是一款开源的企业云盘，注重可靠性和性能。支持 Windows, Mac, Linux, iOS, Android 平台。支持文件同步或者直接挂载到本地访问。Seafile 的最新稳定版 6.1.4 已发布，更新如下： 云文件浏览器： 更新文件时不使用断点续传的上传功能 通过图标的显示来表示一个文件已被缓存 当文件更改后且无法上传到服务器时显示警告图标 用户可以重新对上传失败的本地修改文件进行上传 添加一个命令打开本地缓存文件夹 上传文件或文件夹时改进错误提示消息 [mac] 修复 doc/xls 文件下载后自动上传的 bug 一些 UI 的修复和改进 其他更新： 不显示 127.0.0.1 的连接状态 禁止编辑本地同步路径，用户只能选择路径 一些 UI 的修复和改进 完整更...阅读全文
WordPress 开发团队刚刚发布了 WordPress 4.8 正式版，现在已经可以下载了。该版本以爵士乐钢琴家和作曲家 William John “Bill” Evans 的名字命名。WordPress 4.8 的新功能，讲给你提供更多的方式，让你来在网上表达自我和展现品牌。 虽然 WordPress 4.8 都是一些小的改进，但这些改进都是用户们所关注的，由数以百计的开发者共同完成的。现在，我们来一起看看这些关注已久的新功能：链接功能改进；三个媒体挂件（小工具）包括：图片、音频、和视频；文本挂件（小工具）增加了可视化编辑功能；管理后台增加了新模块，显示附近即将举行的 WordPress 活动。 令人激动的挂件更新 图片挂件（小工具） 往挂件里添加图片，现在可以说是非常简单了...阅读全文
在以前，很多从其他语言转过来 Go 语言的同学会问到，或是踩到一个坑。就是以为 Go 语言所打包的二进制文件中会包含配置文件的联同编译和打包。 结果往往一把二进制文件挪来挪去，就无法把应用程序运行起来了。因为无法读取到静态文件的资源。 无法将静态资源编译打包进二进制文件的话，通常会有两种解决方法： 第一种是识别这类静态资源，是否需要跟着程序走。第二种就是考虑将其打包进二进制文件中。 第二种情况的话，Go 以前是不支持的，大家就会去借助各种花式的开源库，例如：go-bindata/go-bindata 来实现。 但从在 Go1.16 起，Go 语言自身正式支持了该项特性，今天我们将通过这篇文章快速了解和学习这项特性。 基本使用 演示代码： import _ "embed...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
Docker v1.13.0 正式版发布了。需要注意的是，在 Docker 1.13 中，与在 Docker 1.12 中引入的实验版本相比，管理插件 api 发生了变化。在升级到 Docker 1.13 之前，必须卸载使用 Docker 1.12 安装的插件。可通过 docker plugin rm 命令卸载插件。 如果已经升级到 Docker 1.13 而不卸载先前安装的插件，则当 Docker 守护程序启动时，可能会看到此消息 Error starting daemon: json: cannot unmarshal string into Go value of type types.PluginEnv 要手动删除所有插件并解决此问题，请执行以下步骤： 从 /var/lib...阅读全文
由 Red Hat 工程师牵头的团队，正在为 Linux/开源社区研究名为 NVFS 的文件系统。NVFS 的目标是成为像英特尔 Optane DCPMM 那样的高速文件系统。NVFS面向基于DAX的设备（直接访问），并将整个设备映射成一个线性地址空间，从而绕过 Linux 内核的块层（block layer）和缓冲区缓存。 在 NVFS 文件系统之前，开源社区有个用于持久性内存的 NOVA 文件系统，但该项目在去年意外结束了。在没有另一个面向高性能持久性内存设备的 Linux 文件系统的情况下，Red Hat 的 Mikulas Patocka 一直在领导 NVFS 的工作。 尽管 NVFS 是面向基于 DAX 的设备，但它采用了与 EXT4 类似的设计方法，并与 Linux 的 VFS...阅读全文
