在这篇文章里，我将在 VMWare 里面虚拟四台 Debian 虚拟机，一个做master，三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配置操作都是使用普通用户 hadoop 来执行，并非 root。 集群环境准备 1. 静态网络的配置 编辑/etc/network/interfaces文件，注释自动获取IP，并添加下面内容 # static IP address auto ens33 iface ens33 inet static address 192.168.20.101 netmask 255.255.255.0 gateway 192.168.20.2 dns...阅读全文
Sysdig 是 Sysdig Cloud 开发的主要基于Lua语言的一个开源系统分析工具。Sysdig 能从运行的系统中，获取系统状态和行为，做过滤分析，功能上超同类开源工具。Sysdig 可以看做是 strace + tcpdump + lsof + htop + iftop 以及其他系统分析工具的合集 。 此外 Sysdig 还能对容器（如docker、coreOS、LXC）进行监控。 Sysdig 也支持windows平台和mac平台。下面我们以 Linux系统为例，举例说明 Sysdig 的用法，你也可以参考官方原文。 网络 查看占用网络带宽最多的进程：sysdig -c topprocs_net显示主机192.168.0.1的网络传输数据 as binary：sysdig...阅读全文
/ buster main ui # Uncomment line below then 'apt-get update' to enable 'apt-get source' #deb-src http://archive.raspberrypi.org/debian/ stretch main ui jessie、wheezy 版本的系统按照之前修改软件源的的规则修改即可，这里不再赘述。 Ctrl+o 保存，之后回车确认，然后 Ctrl+x 退出。 更新 配置好了可以尝试更新，用下面的命令分别更新软件源列表、软件版本和系统内核版本，完整的更新过程需要等挺久的。一般只用更新软件源列表即可。 #更新软件源列表 sudo apt-get update #更新软件版本 sudo apt-get upgrade...阅读全文
。Ingress 作为 Kubernetes 的初代入口网关，资源模型过于简单，以致无法适应当今的可编程网络。Gateway API 作为 Kubernetes 入口网关的最新成果，它通过角色划分将关注点分离，并提供跨 namespace 支持使其更适应多云环境，已获得大多数 API 网关的支持；入口网关（南北向）与服务网格（东西向，集群内路由）存在部分功能重叠，Gateway API 为两者的融合提供了新的参考模型。三是 eBPF 开始兴起。越来越多的开源项目使用 eBPF 技术，比如 Cilium 将 eBPF 引入容器原生网络，Merbridge 使用 eBPF 加速 Istio 中的透明流量劫持，Pixie 使用 eBPF 来构建可观察性堆栈，SkyWalking 使用 eBPF 来诊断服务网格的...阅读全文
数据库。 6. 拥有复杂的数据（视频、图像、文件）——选择 Blob/对象存储。 7. 复杂的计算——使用消息队列和缓存。 8. 海量数据搜索——考虑搜索索引、尝试搜索引擎。 9. 扩展 SQL 数据库 — 实施数据库分片。 10. 高可用性、性能和吞吐量 — 使用负载均衡器。 11. 全球数据交付——考虑使用 CDN。 12. 图形数据（具有节点、边和关系的数据）——利用图形数据库。 13. 扩展各种组件——实现水平扩展。 14. 高性能数据库查询——使用数据库索引。 15. 批量作业处理——考虑批处理和消息队列。 16. 服务器负载管理和防止 DOS 攻击 - 使用速率限制器。 17. 微服务架构——使用 API 网...阅读全文
，Client会按照这些SRV的权重分配请求。下一次向服务发起的请求可能发送到了不同的地址。在通过SRV记录的权重来分配请求的时候，使用的是本地缓存的DNS记录，所以不能实时地感知到服务的地址列表变化。除非将 TTL 设置的非常短暂，但这样将会频繁地查询DNS服务器。 Client查询服务地址的过程 rfc-2782中已经做了很好地介绍，这里就不表述了。 配置举例 下面是DNS中 master file，可以看到有 example.com 域名提供了一个名为_foobar._tcp 的服务，这个服务有两个 SRV 记录，分别指向了 sys-box.example.com:1099 和 server.example.com:1099 $ORIGIN example.com. @ SOA...阅读全文
Go 1.9 beta版已发布， 正式版预期在8月初发布，让我们先来看看你Go 1.9带来了那些新特性。 type alias 类型别名原本在1.8中加入的，但是临时发现有些问题，为了能全面的设计 type alias 被移到了 Go 1.9中了。 这个特性主要用在类型从一个package移动到另外一个package中的时候，导致的项目中对引入的路径不一致导致的问题， 比如原先 context是在golang.org／x/net/context包下，在Go 1.7中菜正式移到标准库context。 相关的issue: go#16339 go#18130 提案: type alias 并发map 在Go 1.6之前， 内置的map类型是部分goroutine安全的，并发的读没有问题，并发的写...阅读全文
并到所使用的 LTS 版本。 因此谷歌转向了滚动更新发行版，不过它没有选择知名的滚动更新发行版 Arch Linux，而是基于 Debian 测试分支构建了 gLinux Rodete (Rolling Debian Testing)。 选择 Debian 是因为它有着庞大的社区和软件库，还可以使用 Debian 格式的现有内部软件包和工具。而且 Ubuntu 也是基于 Debian，迁移过去更容易顺畅。 Debian 稳定分支也是差不多两年发布一次大更新，但其测试分支是滚动更新的。滚动更新意味着需要尽可能防止新版本对现有工作流程造成破坏，为了管理从源代码构建所有上游软件包的所有这些复杂任务，谷歌构建了一个名为 Sieve 的工作流系统。通过运行一个虚拟化测试套件，确保核心组件和开发者工作流...阅读全文
广泛使用一个全局 metrics registry 来注册要公开的 metrics。通过实现 metrics registry，metrics 可以以更透明的方式注册。而在这之前，Kubernetes metrics 被排除在任何稳定性需求之外Volume Extension：新版本有大量和 Volume 及 Volume 修改相关的增强。CSI 规范中对 Volume 调整的支持正在转向 Beta 版，它允许任何 CSI spec Volume plugin 都可以调整大小 其他值得注意的功能更新： 拓扑管理器是一个新的 Kubelet 组件，旨在协调资源分配决策，以提供优化的资源分配IPv4/IPv6 双栈允许将 IPv4 和 IPv6 地址分配给 Pods 和服务API Server...阅读全文
（"hot spot"热点竞争问题）工作负载。 2. NoSQL：MySQL 从 5.7 版本开始提供 NoSQL 存储功能，目前在 8.0 版本中这部分功能也得到了更大的改进。该项功能消除了对独立的 NoSQL 文档数据库的需求，而 MySQL 文档存储也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。 3. 窗口函数(Window Functions)：从 MySQL 8.0 开始，新增了一个叫窗口函数的概念，它可以用来实现若干新的查询方式。窗口函数与 SUM()、COUNT() 这种集合函数类似，但它不会将多行查询结果合并为一行，而是将结果放回多行当中。即窗口函数不需要 GROUP BY。 4. 隐藏索引：在 MySQL 8.0 中，索引可以被...阅读全文
本文档是描述 .gitlab-ci.yml 详细用法的下半部分，上半部分的内容请参考这里。.gitlab-ci.yml 文件被用来管理项目的 runner 任务。如果想要快速的了解GitLab CI ，可查看快速引导。 该文件存放于项目仓库的根目录，它定义该项目如何构建。 参考阅读：Gitlab CI 配置文件 .gitlab-ci.yaml 详解（上） artifacts 注意： 非Windows平台从GitLab Runner v0.7.0中引入。 Windows平台从GitLab Runner V1.0.0中引入。 在GItLab 9.2之前，在artifacts之后存储缓存。 在GItLab 9.2之后，在artifacts之前存储缓存。 目前并不是所有的executors都支持...阅读全文
对 Docker 的使用大部分都比较熟悉，但是说到 docker 的实现原理很多人还是一知半解。我把在团队内部做的一次 Docker 核心原理分享总结到文章里，以供参考。 Docker 的优势 Build once, Run anywhere 上面这句话很精辟的总结了 docker 的优点。我从下面几点具体描述 docker 带给开发者的能力 应用标准化 无论什么语言开发的应用，我们都能用 dockerfile 和构建脚本方便的进行应用构建打包，代码库 + 构建 + registry 统一了 CI/CD 流程，也提升了效率。 环境一致 由于应用和依赖全部构建成镜像，做到了一次构建多次交付，无论是开发，测试还是上线环境都是一致的。大大提高了开发效率 应用隔离 由于通过 docker 部署的应...阅读全文
束使用 Deployment、DaemonSet、ReplicaSet 或者 StatefulSet 跨节点部署 Pod使用多节点使用基于角色的访问控制（RBAC）在外部托管Kubernetes集群（使用云服务）升级Kubernetes版本监控集群资源和审计策略日志使用版本控制系统使用基于Git的工作流程（GitOps）缩小容器的大小用标签整理对象（译者注：或理解为资源）使用网络策略使用防火墙使用命名空间K8s 中的命名空间对于组织对象、在集群中创建逻辑分区以及安全方面的考虑至关重要。 默认情况下，K8s 集群中有 3 个命名空间，default、kube-public 和 kube-system。RBAC 可用于控制对特定命名空间的访问，以限制组的访问以控制可能发生的任何错误的爆炸半径，例...阅读全文
解在 Docker + Wasm 背景下的 Wasm container 有什么好处以及如何运行一个服务 WordPress 的 php.wasm 镜像。动手示例让我们开始吧！ 在动手示例中，我们将使用编译为 Wasm 的 PHP 解释器。 我们会：构建一个 Wasm 容器。比较 Wasm 和原生二进制文件。比较传统容器和 Wasm 容器。展示 Wasm 的可移植性前期准备如果想在本地重现这些示例，你需要使用以下部分或全部内容来准备你的环境：WASI SDK - 从构建 C 代码构建 WebAssembly 应用程序PHP - 为了比较而运行本机 PHP 二进制文件WasmEdge Runtime - 运行 WebAssembly 应用程序Docker Desktop + Wasm (本文写...阅读全文
，也可以通过优化的 memory copy，最优情况下可以仅仅交换pointer。它不仅消除了标量处理模型会遇到的问题，而且在设计 pipeline 时还可以实现更优的内存分配并与业务逻辑解耦。 图片來源：fd.io/gettingstar… 向量处理模型，graph 有 1 个起点（dpdk-input, n packets）以及 7 个业务逻辑 Graph 框架优点 总体而言，与传统的标量处理模型相比，以下概括了 graph 框架主要的优势 更好的 i-cache 管理，更好的icache locality。 灵活的 pipeline 模型（pipeline 框架是从业务逻辑中抽象出来的） 减少 pointer 复制 Node 可以累积多个先前 node 所传递的报文，因此批处理性能更好...阅读全文
Debian 项目领导人选举公布了结果：Sam Hartman 当选。一共有五人参选：Joerg Jaspert、Jonathan Carter、Sam Hartman、Martin Michlmayr 和 Simon Richter。 社区开发者投票采用的是孔多塞投票法。Sam Hartman 是在 2000 年加入 Debian 社区，曾担任 MIT Kerberos Consortium 的首席技术专家、担任互联网任务工程组安全部分的负责人。 他表示对 Debian 项目最重要的是让它变得有趣，让开发者享受向社区做出贡献的经历，倾听开发者的担忧，欢迎新的贡献者。...阅读全文
Nginx（发音同 engine X）是一款轻量级的 Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个 BSD-like 协议下发行，可以在 UNIX、GNU/Linux、BSD、Mac OS X、Solaris，以及 Microsoft Windows 等操作系统中运行。 nginx 1.16.0 稳定版已发布，包含来自 1.15.x 主线分支的新功能和错误修复： 针对流模块（stream module）中的 UDP 代理改进随机负载均衡方法（random load balancing method）支持 TLS 1.3（TLS 1.3 early data）动态加载 SSL 证书等 下载地址： http://nginx.org/en...阅读全文
Grafana 6.4.4 发布了，Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。 新版本更新说明如下： Bug Fixes DataLinks：修复模糊问题 #19883Docker：使解析 Docker 镜像中的时区成为可能 #20081LDAP：即使其中一个返回连接错误，也应尝试所有 LDAP 服务器 #20077LDAP：不再根据调试页面中的角色显示不正确匹配的组 #20018Singlestat：修复无数据/空值映射 #19951 详细更新说明：https://github.com/grafana/grafana/releases/tag...阅读全文
CodeQL是一个白盒源码审计工具，它以一种非常新颖的方式组织代码与元数据，使研究人员能够“像查询数据库一样检索代码”，并发现其中的安全问题。 GitHub于去年收购了开发CodeQL的公司Semmel，并与其联合成立了GitHub Security Lab，Semmel在此前推出了面向开源社区和企业的源代码分析平台 LGTM，这个平台能够自动化的发现并预警GitHub上开源软件的安全问题，同时，与CodeQL一样对开源社区与开发者保持免费。...阅读全文
如果你在 dmesg 日志中发现了该错误，对应的 xfs 分区不能被挂载和使用， ``` "XFS Filesystem has duplicate UUID"， ``` 临时解决办法是，在 mount 命令中使用 nouuid 挂载选项， ``` # mount -o ro,nouuid /dev/nvme0n1p1 /mnt ``` 临时解决办法在你机器重启后将失效，持久的办法应该是使用 xfs_admin 命令行工具生成新的 UUID，然后将新的UUID配置到 /etc/fstab 中， ``` # xfs_admin -U generate /dev/nvme0n1p1 Clearing log and setting UUID...阅读全文
主要有三个步骤； * 猪油要先焯水，去浮沫后再煮2-3分钟 * 重新下锅熬油时，多加清水（ 1/3 的肉量）。开始出油时，加姜片、小葱段去腥增香。 * 熬好的油用砂锅存放，锅底先放黄豆、红花椒、一勺盐。熬好的猪油，自然冷却后放冰箱保鲜层保存。 这样熬出来的猪油，不腥不苦，雪白细腻，炒菜和面都非常的香。...阅读全文
首先查看哪些服务占用了开机时间： `systemd-analyze blame` 本文示例中发现 networking.service 的时间长达 5 分钟。查看该服务状态可发现如下错误： ``` systemd[1]: networking.service: Start operation timed out. Terminating. systemd[1]: networking.service: Main process exited, code=killed, status=15/TERM systemd[1]: networking.service: Failed with result 'timeout'. systemd[1]: Failed to...阅读全文
O'Reilly 在出版了《Google运维解密（Site Reliability Engineering）》和《网站可靠性工作手册（The Site Reliability Workbook）》之后，出版了 Google 工程师的另一本有关网站可靠性的书《Building Secure and Reliable Systems》，这次强调的是安全。 针对设计、实现和维护系统的开发群体，Google 的工程师分享了设计从基础上安全的，可伸缩的可靠系统的方法。 前两本书都提供了 HTML 免费版本，而新书没有提供 HTML 版本，但提供了 PDF、EPUB 和 MOBI 版本。...阅读全文
本文将会为 Ubuntu、Linux Mint 和 Debian GUN/Linux 用户讲述，如何在它们基于Debian的Linux操作系统上轻松的解压和重新打包.deb文件。 有时候你在生活中会碰到这样的问题，你想要修改.deb文件的部分内容，然后重新打包。下面的例子是刚发生在我身上的真实经历。一位Linux开发者为一个软件构建了一个Debian包（.deb），我也成功地将它安装在我的装载Ubuntu的电脑上。 当我试图从一个Git库中检索一些文件时，它总是卡顿，很显然，该软件并没有正常工作。我知道安装的文件在哪里（/opt目录），所以，我搜查了代码并适当地将部分问题修复。之后，当程序试图检索需要的包时不再卡顿。 所以长话短说，我要将.deb文件解包，替换上我的补丁文件，然后再重新打包...阅读全文
Visual Studio Code 刚刚公布了其 2018 发展路线图。开发团队表示，他们通常会先制定目标，然后将工作分解在后续的 6-12 个月时间内。在当前的规划中，主要会从以下三个角度进行改进： Happy Coding： 为新用户和现有用户提供更愉快的编码体验。 Node、JavaScript 和 TypeScript： 为各种语言和框架实现卓越的端到端体验。 A Rich Extension Ecosystem： 提供更丰富的扩展功能，构建良好的生态系统。 各项大致内容（仅供参考） Happy Coding 计划针对以下方面进行改进： Fundamentals：提高启动性能、减少资源/内存消耗、提高可访问性、支持社区贡献的翻译语言包、改善更新体验、提高可维护性等...阅读全文
中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版（IPv6）规模部署行动计划》，计划全面推进部署 IPv6，协同推进网络实名制。 通知称，用 5 到 10 年时间，建成全球最大规模的 IPv6 商业应用网络。具体计划包括： 1．到 2018 年末，IPv6 活跃用户数达到 2 亿，在互联网用户中的占比不低于 20%，并在以下领域全面支持 IPv6：国内用户量排名前 50 位的商业网站及应用，省部级以上政府和中央企业外网网站系统，中央和省级新闻及广播电视媒体网站系统，工业互联网等新兴领域的网络与应用；域名托管服务企业、顶级域运营机构、域名注册服务机构的域名服务器，超大型互联网数据中心（IDC），排名前 5 位的内容分发网络（CDN），排名前 10 位云服务平台的 50% 云产品；互联...阅读全文
12月23日，由开源中国联合中国电子技术标准化研究院主办的2017源创会年终盛典在北京万豪酒店顺利举行。作为年末最受期待的开源技术分享盛会，国内顶尖技术大拿、知名技术团队、优秀开源项目作者，及近1000名技术爱好者共聚一堂，探讨最前沿、最流行的技术话题和方向，推动国内开源创新体系发展，共建国内开源生态标准。 PHP7 已发布近两年, 大幅的性能提升使得 PHP 的应用场景更加广泛，刚刚发布的 PHP7.2 相比 PHP7.1 又有了近 10% 的提升。在本次大会上，链家集团技术副总裁、PHP 开发组核心成员鸟哥发表了以 “ PHP Next: JIT ”为主题的演讲，分享了 PHP 的下一个性能提升的主要举措：JIT 的进展, 以及下一个大版本的 PHP 可能的特性。他表示，JIT 相比...阅读全文
展，以允许应用类放置在共享存档中。 JEP 312: 线程局部管控。允许停止单个线程，而不是只能启用或停止所有线程。 JEP 313: 移除 Native-Header Generation Tool (javah) JEP 314: 额外的 Unicode 语言标签扩展。包括：cu (货币类型)、fw (每周第一天为星期几)、rg (区域覆盖)、tz (时区) 等。 JEP 316: 在备用内存设备上分配堆内存。允许 HotSpot 虚拟机在备用内存设备上分配 Java 对象堆。 JEP 317: 基于 Java 的 JIT 编译器（试验版本）。 JEP 319: 根证书。开源 Java SE Root CA 程序中的根证书。 JEP 322: 基于时间的版本发布模式。“Feature...阅读全文
个干净的垃圾收集器（GC）接口，改善不同垃圾收集器的源码隔离性。 JEP 307: 向 G1 引入并行 Full GC JEP 310: 应用类数据共享。为改善启动和占用空间，在现有的类数据共享（“CDS”）功能上再次拓展，以允许应用类放置在共享存档中 JEP 312: 线程局部管控。允许停止单个线程，而不是只能启用或停止所有线程 JEP 313: 移除 Native-Header Generation Tool (javah) JEP 314: 额外的 Unicode 语言标签扩展。包括：cu (货币类型)、fw (每周第一天为星期几)、rg (区域覆盖)、tz (时区) 等 JEP 316: 在备用内存设备上分配堆内存。允许 HotSpot 虚拟机在备用内存设备上分配 Java 对象堆...阅读全文
随着64层堆栈3D NAND闪存的大规模量产，全球6大NAND闪存厂商今年都开始转向96层堆栈的新一代3D NAND，几家厂商的技术方案也不太一样，SK Hynix给他们的新闪存起了个4D NAND闪存的名字。 在今年的FMS国际闪存会议上正式宣告了业界首个基于CTF技术的4D NAND闪存，日前他们又宣布4D NAND闪存正式量产，目前主要是TLC类型，96层堆栈，512Gb核心容量，使用该技术可以减少30%的核心面积，读取、写入速度分别提升30%、25%。 根据SK Hynix之前公布的信息，所谓的4D NAND闪存其实也是3D NAND，它是把NAND闪存Cell单元的PUC（Peri Under Cell）电路从之前的位置挪到了底部，所以叫了4D NAND闪存，本质上其实还是3D...阅读全文
奇虎 360 宣布正式开源 Wayne ，这是一个由 360 搜索云平台团队开发的通用的、基于 Web 的 Kubernetes 多集群一站式可视化管理平台。内置了丰富多样的功能，满足企业的通用需求，同时插件化的方式可以方便集成定制化功能。 目前 Wayne 已大规模服务于 360 搜索，承载了内部绝大部分业务，稳定管理了近千个业务，上万个容器，运行了两年多时间，经受住了生产的考验。 功能特性 可视化操作 ：提供直观、简便的方式操作 Kubernetes 集群，减小学习成本，快速上线业务。 多样的编辑模式 ：支持图形化编辑，也支持 Json、Yaml 两种高级定制化编辑模式。 微内核架构 ：采用可扩展的插件化方式开发，定制化选择特性功能，更方便的集成符合企业需求的新功能。 多集群管理 ：可...阅读全文
Linux Mint 19.1 开发代号“Tessa”终于正式发布了 。新版本仍然基于 Ubuntu 18.04 LTS，并将支持到 2023 年。外观上最大的改进是加入了 Cinnamon 4.0 桌面版，并保留了切换到现代桌面布局或传统的选项。Linux Mint 19.1 的最终发布仅在发布测试版之后两周。 其他一些不错的功能包括可查看主线内核的支持状态，这可以让您知道是否应该使用当前内核或是否应该升级它。此外，新版本还有一个按钮允许您快速删除旧内核，以便您可以清除启动分区中不需要的部分。 Mint 19.1 released 正如您对任何新操作系统的期望一样，Mint 19.1 附带了一系列来自不同摄影师的全新壁纸，可让您精心设置。此外，如果你不喜欢 Mint 上的默认配色方案...阅读全文
菜单启动游戏引擎 godot 3 3.0.6音频/视频转码器：RipperX 2.8.0，Handbrake 1.2.2自动调整覆盖分区的大小而不重新引导LXDE，轻量级 Knoppix 标准桌面，包括文件管理器 pcmanfm 1.3.1用于在 Linux 上直接安装和运行 Windows 应用程序的预览版Libre Office 6.3.0-rc2, Gimp 2.10.8OwnCloud 2.5.1 和 NextCloud 2.5.1 客户端对 UEFI 安全启动的支持 安装的一个更好的方法是使用 flash-knoppix，它将在 USB Flash pen 上创建一个 FAT 32 和一个 Linux 分区的更简单和可写的布局。 Knoppix 的 DVD 版本 8.6 提供了以下...阅读全文
随着技术的发展，我们使用的存储器也各种各样，虽然都基于芯片颗粒，但表现截然不同，比如说读写次数限制，或者叫寿命，SSD固态硬盘就有限制，DRAM内存却没有。 按照分布位置的不同，DRAM内存属于内部存储器，紧挨着CPU处理器，用来临时存放后者需要的运算数据，并与外部存储器进行交换，起到桥梁的作用。 DRAM内存的特点是读写速度快、延迟低，但属于易失性存储，也就是一旦断电，数据就会全部丢失。 DRAM内存颗粒利用晶体管加电容来保存数据，而且只是临时存储数据，并没有实质性的写入，不涉及对物理单元结构、属性的改变，所以可以无限次读写。 当然，这并不意味着DRAM内存就可以永久使用，毕竟其中的晶体管、电容等物理结构也会慢慢老化，所有电子设备都是如此，只是这个过程非常非常缓慢，正常使用根本感觉不到...阅读全文
近日，Linux 基金会宣布成立 DizmeID 基金会和技术项目，旨在支持数字身份认证。这项工作将把自主身份的优势与必要的合规性和监管结合起来，目的是使钱包持有者能够拥有和控制他们的数字身份以及数据访问和分发。其创始成员包括：Algorand、Fabrick 和 InfoCert，A.P.S.P. 是准会员。  DizmeID 基金会和技术项目将定义并允许在 Sovrin 公共身份实用程序之上实现 Dizme 功能，同时利用 trustoverip 元模型，并基于现有基础设施的三个领域，将其工作重点放在定义和实现 DizmeID...阅读全文
，可以视为是每秒的读写次数。与其他性能测试一様，IOPS 仅代表理想环境下的性能指标，不保证实际应用下也能达到同等情况。IOPS 的数值会随系统组态而有很大的不同，依测试者在测试时的控制变量而异，控制变量包括读取及写入的比例、线程数量以及资料区块的大小等。从 Jens Axboe 在社交媒体上分享的截图可以看到，他用最新的 Linux 内核补丁在一个物理 CPU 核心上实现了 1000 万 IOPS。此次测试的设备仍然与他此前实现 890 万 IOPS 时所使用的设备保持一致 —— 采用了一个 AMD Ryzen 9 5950X CPU 和英特尔 P5800X Gen2 傲腾 SSD。为了实现这些的性能提升，Jens Axboe 主要是在内核的 block / NVMe / IO_uring...阅读全文
根据此前的消息，基于Thunderbolt 3（雷电3）技术的USB 4接口与此前的USB 3.2相比带宽提升了一倍，能够提供40Gbps的带宽与100W的供电，使用USB Type-C 物理接口，所以你可以将USB 4当作是雷电3的大众化版本。目前USB Promoter Group正在努力开发USB 4规范，相关零售产品将于2020年底上市。 根据 AnandTech 的报道，目前USB 4已经来到了0.7版本，并且研发进度比较快。USB Promoter Group表示，USB 4基于雷电3技术，但是由于目前的研发情况非常复杂，所以他们希望能够在保证性能的情况下将部分功能进行简化，同时也在考虑新的产品标识和推广方案。 USB 4将会提供40Gbps（5GB/s）的传输速率并支持...阅读全文
JavaFX 11 发布了，JavaFX 是一个强大的图形和多媒体处理工具包集合，它允许开发者来设计、创建、测试、调试和部署富客户端程序，并且和 Java 一样跨平台。由于 JavaFX 库被写成了 Java API，因此 JavaFX 应用程序代码可以调用各种 Java 库中的 API，例如 JavaFX 应用程序可以使用 Java API 库来访问本地系统功能并且连接到基于服务器中间件的应用程序。JavaFX 可以自定义程序外观，CSS 将外观和样式与业务逻辑实现进行了分离，因此开发人员可以专注于编码工作。值得注意的是，从 JDK 11 开始，JavaFX 模块与 JDK 分开提供 。 JavaFX 11 需要 JDK 10（必须是 OpenJDK 版本）或 JDK 11，建议使用...阅读全文
华为提供了一个基于 CentOS 的企业级 Linux 发行版 EulerOS，华为也发布了一个名为 openEuler 的 EulerOS 社区版。 openEuler 的源代码也一同发布了，源代码可以在 Gitee 找到。它有两个独立的代码库，一个用于存储源代码；另一个作为软件包的源代码，存储有助于构建该操作系统的软件包。 openEuler 基础架构团队分享了他们使源代码可用的经验： 我们现在很兴奋。很难想象我们会管理成千上万的仓库。为了确保它们能被成功地编译，我们要感谢所有参与贡献的人。 openEuler 是基于 CentOS 的 Linux 发行版 与 EulerOS 一样，openEuler OS 也是基于 CentOS，但华为技术有限公司为企业应用进一步开发了该操作系统...阅读全文
AWS 的临时权限可以通过 AssumeRole 访问控制台，但需要经过一些配置和操作。以下是如何使用 AssumeRole 通过 SessionToken 访问 AWS 的管理控制台。 以下步骤，包括了生成临时凭证 SessionToken，并通过这个凭证生成可访问 AWS Web控制台的登录 URL。完整的流程如下。一. 创建并配置 IAM 角色• 创建目标角色（RoleA）：• 创建一个 IAM 角色，为其分配所需的权限策略（如 AdministratorAccess 或自定义策略）。• 配置信任关系，使特定用户或角色可以 Assume 该角色。例如：{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow...阅读全文
| 64-bit Linux Mint 更新内容： 新版本除了对附带的软件进行升级，还带来了许多改进和新特性，让你的桌面使用起来更加舒适。除此之外，还提供了 UI 方面的改进，例如现在支持对滚动条的配置进行设置，并且在应用程序菜单中对具有相同名称的程序显示添加的描述，以便用户可以在 GNOME 程序的 X-Apps 和 Deb 软件包的 Flatpaks 中进行区分。 Linux Mint 19 针对 Xfce, MATE 和 Cinnamon 这三个桌面环境版本都提供了一些独有的新特性，但大多数新特性对于所有的版本都是通用的，下面来看看有哪些变化。 改进了升级管理器中的内核管理软件管理器可以获取“丢失”的 GPG 密钥软件管理器可以扫描/删除重复的源优化了 Muffin 窗口管理器，使用起来感觉...阅读全文
在 trace 工具加入了 Mutator Utilization 图的支持，它可以方便发现 GC 性能受限的情况；不再支持 go tool vet；go tool tour 不再包含在主二进制发行版中，需要手动安装；Go 1.12 是最后一个支持 binary-only packages 的版本；……Runtime 方面，Go 1.12：提升了大量堆（Heap）活跃状态情况下的扫除（Sweeping）性能，这减少了垃圾回收之后的分配延迟，可以更好地将内存释放回操作系统；Runtime 的 timer 和 deadline 代码随着 CPU 数目的增加，会有更好的表现。这提升了网络连接最后期限（deadline）相关操作的性能；通过大型堆分配的相关修复，提升了内存配置文件的精确性；……平台相...阅读全文
, ctrip apollo, disconf, hawk 等配置中心的功能点。综合比较下来携程apollo 更具有优势。 二、简单介绍携程Apollo配置中心 1、What is Apollo 1.1 背景 随着程序功能的日益复杂，程序的配置日益增多：各种功能的开关、参数的配置、服务器的地址…… 对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制…… 在这样的大环境下，传统的通过配置文件、数据库等方式已经越来越无法满足开发人员对配置管理的需求。 Apollo配置中心应运而生！ 1.2 Apollo简介 Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范...阅读全文
系、构建联盟，找到并解决行业问题。 在这个峰会上，有一个分组研究，在其中，与会者被分成小组，被要求给一个真实存在的核心的开源技术推荐一个开源协议。每个小组都给出了回应。不到十分之一的小组推荐了宽容许可证，没有人推荐 GPL 许可证。 我看到了开源行业对于 Apache 协议以及 MIT 协议的逐步认可，但是他们却对花时间理解、接受和熟悉 GPL 这件事高高挂起。 在这几年里，这种趋势仍在蔓延。除了 Black Duck 的调查之外， 2015 年 GitHub 上的开源协议调查 也显示 MIT 是人们的首选。我还能看到，在我工作的 XPRIZE （我们为我们的 Global Learning XPRIZE 选择了开源协议），在我作为社区领导顾问的工作方面，我也能感觉到那种倾向，因为越来越多的...阅读全文
引言：众所周知，Nginx 服务器是一个高性能的 Web 和反向代理服务器。Nginx 在激烈的 Web 服务器竞争中依旧保持良好的发展势头，一度成为 Web 服务器市场的后期之秀，这一切跟 Nginx 的架构设计是分不开的。 一. Nginx 模块化设计 高度模块化的设计是 Nginx 的架构基础。Nginx 服务器被分解为多个模块，每个模块就是一个功能模块，只负责自身的功能，模块之间严格遵循“高内聚，低耦合”的原则。 核心模块 核心模块是 Nginx 服务器正常运行必不可少的模块，提供错误日志记录、配置文件解析、事件驱动机制、进程管理等核心功能。 标准 HTTP 模块 标准 HTTP 模块提供 HTTP 协议解析相关的功能，如：端口配置、网页编码设置、HTTP 响应头设置等。 可选...阅读全文
本文翻译自 Wasm Labs @ VMware OCTO 的 blog： WebAssembly: Docker without container，已获得授权这是 Wasm Labs 在 2022 年 12 月 15 日在冬季 Docker Community All Hands 7 的关于 Docker+WebAssembly 的演讲的文字版。作者：Asen Alexandrov，Wasm Labs 工程师文中的我们均指作者或 Wasm Labs。由于文章内容翔实、篇幅较长我们将分成上下两篇分享，上篇将注重在概念阐释，如 Wasm 是什么，Wasm 与 Docker 的关系是什么。下篇文章将更具实践性，将以 PHP 为例带领大家实践 Docker + Wasm。最近，Docker 宣...阅读全文
9 月 8 日，字节跳动正式宣布开源 CloudWeGo。这是一套以 Go 语言为核心、专注于微服务通信与治理的中间件集合，具有高性能、可扩展、高可靠的特点。 据介绍，作为项目维护方，字节跳动基础架构团队已推进项目以 CloudWeGo 开源库为主进行迭代，未来团队将坚持内外维护一套代码，统一迭代演进，并逐步分享更多内部微服务最佳实践。 项目地址：https://github.com/cloudwego 项目官网：www.cloudwego.io CloudWeGo 第一批开源了四个项目，以 RPC 框架 Kitex 和网络库 Netpoll 为主。 Kitex Kitex 是一个 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点。 字节跳动使用 Golang 作为主要业务开...阅读全文
“ 以 docker 为代表，轻量、便携的 container 使得打包和发布应用非常容易。系列文章容器原理主要分析 container 用到的核心技术，主要包括 Linux namespace，cgroups，overlayfs，看完这些内容，你将可以手动创建一个和 container 类似的环境。 cgroup（control group）是一个内核特性，用于限制、统计、隔离一组进程的资源（CPU、内存、磁盘、网络等），首字母不要大写。 “ “cgroup” stands for “control group” and is never capitalized. 单数形式（cgroup）指所有特性，也可以作为“cgroup controllers”的修饰。 复数形式（cgroups）指...阅读全文
-E以及近期火出科技圈的ChatGPT。 无论是个人才智和财富，还是远见和野心，Sam Altman显然是标杆性的“成功人士”。 在离任YC总裁的那一年，曾与无数创业者和技术人才交流过的Sam Altman发表了一篇博客，总结了他眼中获得成功所要具备的13个特质，如果你渴求成功，或者至少希望自己变得优秀，这篇博客对你的个人成长将有所启发。如果你恰好在职业生涯早期就看过，无疑是一种幸运。 不同于热衷分享虚头巴脑的鸡汤式成功学的成功人士，Sam Altman给出的这篇“成功学”建议具有可执行性，最显著且可贵的一个特点是——不装。 注意，Sam Altman这篇文章的原标题是“how to be successful（如何取得成功）”，但这13条特质并不是一个人必然取得成功的充分或必要条件。 要知道...阅读全文
处理部分流量同时又不修改服务器的地址成为可能。 性能 HAProxy借助于OS上几种常见的技术来实现性能的最大化。 1，单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。 2，O(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。 3，在任何可用的情况下，单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，这会节约大量的CPU时钟周期及内存带宽； 4，借助于Linux 2.6 (>= 2.6.27.19)上的splice()系统调用，HAProxy可以实现零复制转发(Zero-copy forwarding)，在Linux 3.5及以上的OS中还可以实现零复制启动(zero-starting)； 5，内存...阅读全文
