在 Kubernetes 上扩展 TensorFlow 模型

。  默认情况下，KPA 基于每个 pod 的平均传入请求数对模型进行扩展。KFServing 将默认的并发的目标数量设置为 1，这意味着如果服务收到三个请求，KPA 将把它扩展到三个 pod 副本。你可以通过更改 **autoscaling.knative.dev/target** 注释来定制这个行为，就像上面的例子一样，你把它设置为 10。一旦启用此设置，只有当并发的请求数增加到 10 时，KPA 才会增加副本数。 通过 KFServing，你可以配置其他自动扩展目标。举例来说，你可以使用 **requests-per...阅读全文

如何使用 journalctl 清理 journal 日志

件。 换句话说， 日志目录中不应该存在后缀名不等于 ".journal" 或 ".journal~" 的文件， 因为这些文件永远不会被清理。 SystemMaxUse= 与 RuntimeMaxUse= 限制全部日志文件加在一起最多可以占用多少空间。 SystemKeepFree= 与 RuntimeKeepFree= 表示除日志文件之外，至少保留多少空间给其他用途。 systemd-journald 会同时考虑这两个因素， 并且尽量限制日志文件的总大小，以同时满足这两个限制。 SystemMaxUse= 与 RuntimeMaxUse= 的默认值是10%空间与4G空间两者中的较小者； SystemKeepFree= 与 RuntimeKeepFree= 的默认值是15%空间与4G空间两者中...阅读全文

从 Debian 安装 Proxmox VE，并配置网络和双硬盘

0 lvm │ ├─pve-vm--103--disk--1 253:8 0 30G 0 lvm │ ├─pve-vm--101--disk--0 253:9 0 50G 0 lvm │ └─pve-vm--104--disk--0 253:10 0 32G 0 lvm └─pve-data_tdata 253:3 0 415.2G 0 lvm └─pve-data-tpool 253:4 0 415.2G 0 lvm ├─pve-data 253:5 0 415.2G 0 lvm ├─pve-vm--100--disk--0 253:6 0 100G 0 lvm ├─pve-vm--102--disk--1 253:7 0 30G 0 lvm ├─pve-vm--103--disk--1...阅读全文

DPDK Graph Pipeline 框架简介与实现原理

DPDK 全称为 Data Plane Development Kit ，是近年来在高速网络通信行业中炙手可热的一种网络报文处理加速框架。DPDK 从十年前诞生直至发展到今天已经可以支持业界主流的高端网卡以及各类加速硬件设备，同时也支持主流的各个CPU 体系结构（可以运行于 X86, Arm, Power 等平台）。同时也可以运行于 Linux/FreeBsd/Windows 等主流操作系统之上。DPDK因为其优异的性能指标被广泛的应用于网关/负载均衡/SDN/虚拟交换的各个场景。 本文主要介绍 DPDK 中的 libgraph 设计思想以及实现，libgraph 的设计思想源自于开源项目 Vector Packet Processor(VPP)。VPP 中的向量包处理优化方案是...阅读全文

Hadoop 核心 - HDFS 分布式文件系统详解

fsimage文件和edits文件。 根据上述配置, 找到namenode放置fsimage和edits路径. 直接全部rm -rf 删除。 拷贝secondaryNamenode的fsimage与edits文件到namenode的fsimage与edits文件夹下面去。 根据上述配置, 找到secondaryNamenode的fsimage和edits路径, 将内容 使用cp -r 全部复制到namenode对应的目录下即可。 重新启动namenode, 观察数据是否存在。 10 datanode工作机制以及数据存储 datanode工作机制 一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode...阅读全文

成功运作一个开源项目的15个要点

馈项目，这将是项目最好的贡献来源。有些贡献者甚至将是加入项目团队的绝佳候选人。开发采用者和扩展者的生态系统是延长项目使用寿命的好方法。 10、与开发社区联系 开发社区由项目团队成员和贡献者组成。为社区内的沟通提供众所周知的渠道。明确的沟通渠道将有助于开发人员的合作。 11、有计划 很容易就会陷入只专注软件开发的模式，但和任何进程(特别是软件开发过程)一样，有些极致的方法至关重要。确保你的项目采用开发方法，并且有人拥有该流程(例如项目负责人)。制定计划可以帮助开发人员知道他们在哪里可以贡献最大的价值，并使采纳者和扩展者更容易实现他们自己的计划(从而取得成功)。像对待任何其他软件开发项目一样地对待你的开源项目。 12、管理品牌 你的项目将有一个品牌。项目的名称是其身份;项目logo以及任何产品的...阅读全文

在TKE上使用Kubecost进行成本管理

() × a.MemTotalCost() - CPU 的成本效率：cpuCostEff = a.CPUEfficiency() × a.CPUTotalCost() - **总成本效率**：totalEff=（MemCostEff + cpuCostEff) / (a.CPUTotalCost() + a.MemTotalCost()) ### 优化建议 在判断哪些业务需要优化以及如何优化成本结构，可以先查找 TOP 10 的某种资源浪费，例如资源的 Usage 和 Request 差别较大，可以根据应用监控画像给出推荐的 Request，最后计算出每种资源可节省的成本。 ### 评估经济学边际成本 关于节点自动扩容部分，可以衡量一个集群中每个节点，假设 CPU 和 Mem 每增加 1C1G，最终成本达到多少，是否会出现规模...阅读全文

什么是线程安全，以及并发需要知道的几个概念

程安全注重的是多线程开发中的共享数据的安全。就比如下面这段代码： public class ThreadSafety implements Runnable{ //共享数据 public static int i = 0; public void increase(){ for (int j= 0;j<10; j++){ i++; } } @Override public void run() { increase(); } public static void main(String[] args) throws Exception{ ThreadSafety demo = new ThreadSafety(); Thread t1 = new Thread(); Thread t2...阅读全文

Debian Live 项目的剧变

尽管围绕 Debian Live 项目发生了很多戏剧性事件，关于 Debian Live 项目结束的公告的影响力甚至小于该项目首次出现时的公告。主要开发者的离开是最显而易见的损失，而社区对他本人及其项目的态度是很令人困惑的，但是这个项目也许还是会以其它的形式继续下去。 所以 Debian 仍然会有更多的工具去创造启动光盘和其他介质。尽管是用这样一种有遗憾的方式，项目创始人 Dabiel Baumann 和 Debian CD 团队以及安装检测团队之间出现的长期争论已经被「解决」了。 在 11 月 9 日， Baumann 发表了题为「 Debian Live 项目的突然结束」的一篇公告。在那篇短文中，他一一列举出了自从这个和他有关的项目被发起以来近 10 年间发生的不同的事件，这些事件可以...阅读全文

Go 语言的大版本更新：Go 2.0 安排上了

述。 Go 1 和 Go 2 之间的主要区别在于主导权的不同。谁将影响设计，又该如何做出决策？我们都知道，Go 1 的诞生是小团队努力的结果，受外部影响不大；而到了 Go 2，尤其是经过将近 10 年的发展后，Go 语言的生态已经十分庞大，因此它也更多地受到社区的驱动和影响。经历了这些，Go 开发团队也了解到了更多一开始不知道的与语言特性和库相关的知识 —— 这些都来自于 Go 社区的反馈。 2015年，Go 开发团队引入了提案流程，以收集特定类型的反馈：针对语言和库变更方面的提案。由 Go 开发团队高级成员组成的委员会定期审查、分类和决定社区提交的提案。这个流程十分有效，但作为该过程的一部分，他们忽略了所有不向后兼容的提案，只是将其标记至 Go 2。到了2017年，Go 开发团队也停止进行...阅读全文

Kubernetes 使用 PodPreset 注入信息到 Pods_哎_小羊的博客

-07T02:10:31Z 接下来，我们来创建 Pod Yaml 资源文件。 $ vim pod-busybox-hwy.yaml apiVersion: v1 kind: Pod metadata: name: busybox-hwy namespace: wanyang3 labels: app: busybox-hwy role: busybox-hwy spec: containers: - name: busybox-hwy image: busybox:latest command: ["sleep", "60000"] 注意：这里我以 busybox 容器来测试，这里 labels role: busybox-hwy 要跟上边 PodPreset selector...阅读全文

Kubernetes 部署 Nacos 1.4 集群 · 小豆丁

: - name: server port: 8848 targetPort: 8848 - name: rpc port: 7848 targetPort: 7848 clusterIP: None selector: app: nacos --- apiVersion: apps/v1 kind: StatefulSet metadata: name: nacos spec: serviceName: nacos-headless replicas: 3 template: metadata: labels: app: nacos spec: terminationGracePeriodSeconds: 10 #配置优雅停机时间 serviceAccountName: nacos-admin #分配服...阅读全文

字节跳动开源微服务中间件 CloudWeGo - OSCHINA

发语言。早在 2016 年，基础架构团队就已经开始基于 Golang 开发内部框架 Kite，并在 2019 年围绕性能和可扩展启动重构，使其能更好地满足业务发展和技术体系演进需求。 2020 年 10 月，Kitex 正式上线。虽然是一个全新的框架，但经过一年的线上应用，目前字节跳动内部已有超过 50% 的 Golang 微服务迁移到了 Kitex。 下面是 Kitex 的一些特性： 高性能：Kitex 默认集成自研网络库 Netpoll 作为网络传输模块，性能相较使用 go net 有显著优势；除了网络库带来的性能收益，Kitex 对 Thrift 编解码也做了优化，这在之前的性能优化实践文章中有介绍。关于性能数据，可参考 https://github.com/cloudwego...阅读全文

利用 NAT VPS 进行流量中转

Contents1. 准备2. 使用 firewalld 进行中转3. 使用 UFW 进行中转4. 使用 iptables 进行中转4.1. CentOS 下保存规则4.2. Debian & Ubuntu 下 保存规则：5. 使用 socat 进行中转6. 目标机的设置7. 一些大陆 NAT VPS 商8. References本文最后更新于 2020 年 6 月 3 日本文以 CentOS 8 和 Debian 10 & Ubuntu 20.04 为例，介绍如何在 NAT VPS 上设置流量中转。开始前，请先根据实际使用的操作系统，参照以下文章对服务器进行各种必要的配置：CentOS 服务器的初始配置Debian & Ubuntu 服务器的初始化配置本文以 sammy 用户为例，进行中...阅读全文

成为Debian社区维护人需要做好的准备

荐后，会有一位专门的负责人来对他进行考核，这个人就是他的 AM。 10. WNPP: Work-Needing and Prospective Packages 的缩写，指需要有人接手或帮助的软件包。这个概念不是模糊的，而是有明确的定义的。 11. MIA: Missing In Action 的缩写，指某位 Maintainer 长时间不参与维护自己的软件包，同时别人也没能成功地与之取得联系。这样的 Maintainer 被称为 Zombie Maintainer 。如果他是 DD，那么他的 Debian 项目帐号会被锁定，一年内无回应则会删除。 12. Debian Project: Debian 项目是构建自由的通用操作系统（The Universal Operating System...阅读全文

聊聊很重要的内核技术eBPF

eBPF 的程序。编写C代码，将LLVM编译成驻留在ELF文件中的eBPF字节码。将程序加载到内核中，并创建必要的 eBPF-maps。eBPF 具有用作 socket filter，kprobe 处理器，流量控制调度，流量控制操作，tracepoint 处理，eXpress Data Path(XDP)，性能监测，cgroup 限制，轻量级tunnel的程序类型。将加载的程序attach到系统中。根据不同的程序类型attach到不同的内核系统中。程序运行的时候，启动状态并且开始过滤，分析或者捕获信息。 2016年10月的NetDev 1.2大会上，Netronome的Jakub Kicinski和Nic Viljoen发表了标题为“eBPF / XDP硬件卸载到SmartNIC”。 Nic...阅读全文

Kafka 3.0新特性全面曝光，真香！

，非常的耗时且影响集群的可用性。元数据更新网络开销大整个元数据的更新操作也是以全量推的方式进行，网络的开销也会非常大。强耦合违背软件设计原则Zookeeper对于运维来说，维护Zookeeper也需要一定的开销，并且kafka强耦合与zk也并不好，还得时刻担心zk的宕机问题，违背软件设计的高内聚，低耦合的原则。网络分区复杂度高Zookeeper本身并不能兼顾到broker与broker之间通信的状态，这就会导致网络分区的复杂度成几何倍数增长。zk本身不适合做消息队列zookeeper不适合做消息队列，因为zookeeper有1M的消息大小限制 zookeeper的children太多会极大的影响性能znode太大也会影响性能 znode太大会导致重启zkserver耗时10-15分钟...阅读全文

Sam Altman的成功学｜OneFlow

潜能。 询问自身诉求，你通常不能得偿所愿，而且被拒绝的滋味往往不好受。但若一旦成功，效果就会好得出奇。 那些声称“我将永不言弃，直到梦想成真，不论前方有多少艰难险阻，我也会迎难而上”，并将其付诸行动的人，最后几乎总能大获成功。因为他们坚持了足够久，所以最终迎来了幸运之神的眷顾。 在这方面，爱彼迎（Airbnb）是我认为的行动标杆。业内流传着许多有关爱彼迎的逸闻趣事，虽然我并不推崇他们的做法（比如透支信用卡、每顿都吃一元店买的麦片、乐此不疲地与强劲的对手进行较量等等）但是正因为他们足够坚持，最后终于时来运转。 只有保持乐观才能足够坚定，而乐观这种性格特征是可以通过练习逐步提升的，要知道悲观者是很难成功的。 10 保持强劲的市场竞争力 大多数人都明白，企业竞争力越强，价值就越高。这点至关重要，而...阅读全文

Web前端知识体系精简

addEventLisener/attachEvent来进行绑定。 10、全局对象 window 在JS中，当一段JS代码在浏览器中被加载执行，JS引擎会在内存中构建一个全局执行环境，执行环境的作用是保证所有的函数能按照正确的顺序被执行，而window对象则是这个执行环境中的一个全局对象，window对象中内置了很多操作api和对象，document对象就是其中一个。关于JS执行环境的介绍请参考博客：深入理解JS执行细节 CSS 篇 css是用来对html进行修饰的一门语言。 1、选择器 css的选择器有很多种，常用的有类选择器、标签选择器、ID选择器、后代选择器、群组选择器、伪类选择器(before/after)、兄弟选择器(+~)、属性选择器等等。 2、定位 position 定位一般有相对定位(relative...阅读全文

谷歌公开了内部管理Infra层的两个工具的Paper

，asset A可以被处理以及推送。 虽然决定推送是否可以进行的实际逻辑可能很复杂，但是这种模式很通用——比如，你可以定制解决器执行静态顺序（“在推送asset B前总是先推送asset A”）或者版本式顺序（“运行的asset A的版本必须和asset B的一样或者更大”）。 渐进式推出 Enforcer只关心最后一公里：一旦它决定了给定asset的特定intent，Enforcer检查执行该变更是否安全，然后就执行这个变更。 但是如果我们想要在大规模下渐进式部署呢？假定Shakespeare服务在10个集群，而不是一个集群上运行。你不会希望一次只能更新一个单独的集群。相反，你想设置新的目标状态（比如，运行二进制文件的v2版本），随后能以受控的方式更新每个asset。 名为Strategist的服务...阅读全文

HTML 5.1 — 14 项新增特性及使用案例

本元素上报告检查出来的拼写和语法错误，即使用户从来没将输入聚焦在该元素上。

Name: <input spellcheck=" false" id="textbox">