Redis 创始人兼核心开发者 antirez 在博客 介绍 了将在 Redis 6 提供的新功能 —— Client side caching（客户端缓存）。 antirez 表示 全新的 Redis 协议 RESP3 将是 Redis 6 中最重要的特性，并解释了他为何如此急切地改进 Redis 协议，原因主要有两个，一是因为希望能为客户端提供更多的语义化回复（semantical replies），以开发使用旧协议难以实现的功能；另一个原因也是 antirez 认为最重要的一个，实现 Client side caching（客户端缓存）功能 。 这个功能十分常见，但 Redis 尚未提供。 当使用者需要进行快速存储或快速取操作时，就需要在客户端内存中存储一小部分信息，这是为了降低程序...阅读全文
载好操作系统后，会得到一个zip的压缩文件。先解压，我们会用到里面的一个 .img 格式的操作系统镜像文件。文件准备好后，就可以进入下一步操作了。 在SD卡中灌入系统 这一步，我们需要下载一个软件，以便录入系统。虽然 RaspberryPi Foundation推荐使用 Etcher，但个人建议使用 Win32DiskImager，操作比较简单，录入成功率也比较高。 运行 Win32DiskImager 后，可以看到上图。打开首选的磁盘映像器，然后选择您的SD卡。通过在资源管理器中检查确认 SD卡驱动器 的名称，确保它是你的microSD卡，而不是其他驱动器。 注意：如果您不小心选择了错误的驱动器，则会丢失大量数据。 一旦你确认了SD卡的设备名，就可以选择第一步中，准备的 .img。在...阅读全文
程序了，从而导致磁盘不可用。 但是这个方法有一个小问题，那就是当系统内核更新的时候，usb-storage 模块会再次出现在它的默认位置。 方法 3：将 USB 存储器纳入黑名单 我们也可以通过 /etc/modprobe.d/blacklist.conf 文件将 usb-storage 纳入黑名单。这个文件在 RHEL/CentOS 6 是现成就有的，但在 7 上可能需要自己创建。 要将 USB 存储列入黑名单，请使用 vim 打开/创建上述文件： $ sudo vim /etc/modprobe.d/blacklist.conf 并输入以下行将 USB 纳入黑名单： blacklist usb-storage 保存文件并退出。usb-storage 就在就会被系统阻止加载，但这种方法有一...阅读全文
操作系统：Debian Gnu/Linux Jessie 内核： linux-image-4.3.0-0.bpo.1-amd64 网卡：腾达(Tenda) W311M 150M Mini无线USB网卡 最近发现自己的Debian之前可以使用GNOME3下的networkmanager进行WIFI共享上网功能因为内核升级导致无法使用。无奈只好再次通过Hostapd来进行WIFI热点设置，同时为了更块的DNS解析，本次顺便也在本地安装了dnsmasq软件实现了本地化的DNS查询服务，成功恢复了我的小本本作为热点的能力。总结方法如下： 1、准备环境： 1.1执行vi /etc/apt/sources.list,并添加如下源地址： deb http://ftp.cn.debian.org...阅读全文
] else: return '' access token 在2小时内有效，有效期内重复获取返回相同结果，重复获取会使有效期会自动顺延。corp_id 和corp_secret 是企业的 id 和 secret，在钉钉的管理后台可以找到。另外，上面用到了 urllib2 和 json，需要在脚本中引用。 消息类型 钉钉的消息类型分为：text，image，voice，file，link和OA。下面以发送文本，链接和文件消息为例进行说明。 给用户发送消息 发送文本 def send_text_to_users(access_token, users, text): msg_type, msg = _gen_text_msg(text) return _send_msg_to_users...阅读全文
GitHub 刚刚通过官方博客发布了 21 日“挂掉”的事件分析。GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光学设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。 更具体地，GitHub 分析，虽然两地的连接在 43 秒内恢复，但这次短暂的中断引发了一系列事件，这才导致了长达 24 小时 11 分钟的服务降级。 为了大规模提高性能，GitHub 的应用程序将直接写入每个群集的相关主数据库，但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移，Orchestrator 在此过程中考虑了许多变量，并在...阅读全文
在漏洞，这件事也显得很诡异。 国外权威硬件媒体AnandTech在报道此事的时候，也首先提出了一系列质疑： CTS-Labs只给了AMD 24小时的时间知晓问题所在，而行业标准都是在漏洞发现后，提前联系涉事公司，并且要等90天才会对外公开，以便修复解决，而且初期不会披露漏洞技术细节。 在告知AMD和公开之前，CTS-Labs首先联系了一些媒体，向他们通报情况。 CTS-Labs 2017年才刚刚成立，资质尚浅，这只是他们的第一份公开安全报告，也未公开自己的任何客户。 CTS-Labs并没有自己的官方网站，公布此次漏洞却专门建立了一个名为AMDFlaws.com的网站，还是2月22日刚刚注册的。 从网站布局看，很像是已经提前准备了很久，并未考虑AMD的回应。 CTS-Labs还雇佣了一个公关公...阅读全文
Ryzen 9 3950X 系统上，任何版本的速度均未达到 OpenJDK 8 的速度。 结论： 当对所有执行的 Java 基准测试结果取几何平均值时，OpenJDK 8 毫无疑问是最快的 Java 版本。业界经常听到有关 OpenJDK 8 仍可提供最佳性能的消息，以及为什么英特尔的 Clear Linux 在有众多选择的情况下仍坚持该版本的原因。从本文的测试结果来看，这不足为奇。 好消息是，从这种几何意义上来看，OpenJDK 14 是经过测试的发行版中第二快的版本。与之前的版本相比，其领先优势虽然很小，但整体来看毕竟是在保持进步。...阅读全文
Monit是一个跨平台的用来监控Unix/linux系统（比如Linux、BSD、OSX、Solaris）的工具。Monit特别易于安装，而且非常轻量级（只有500KB大小），并且不依赖任何第三方程序、插件或者库。 Monit可以监控服务器进程状态、HTTP/TCP状态码、服务器资源变化、文件系统变动等等，根据这些变化，可以设定邮件报警、重启进程或服务。易于安装、轻量级的实现以及强大的功能，让Monit成为一个理想的后备监控工具。 官网：https://mmonit.com/monit文档：https://mmonit.com/monit/documentation/monit.html最新版本：https://mmonit.com/monit/dist/monit-5.20.0...阅读全文
apt install debsums 现在可以了解如何使用debsums工具，来校验已安装软件包的MD5和了。 说明：我在下面的所有命令中使用了sudo，因为普通用户可能没有某些文件的读取权限。 此外，来自debsums命令的输出在左边显示了文件位置，在右边显示了检验结果。你会得到三种可能的结果，它们包括： OK――表明某个文件的MD5和是好的。 FAILED――表明某个文件的MD5和不匹配。 REPLACED――意味着某个特定文件已被来自另一个软件包的文件所更换。 如果你不用任何选项来运行，debsums会对照常规的md5sum文件来校验系统上的每个文件。 $ sudo debsums 扫描文件系统、寻找MD5和 /usr/bin/a11y-profile-manager-indicator...阅读全文
新的技术，特别是在网络和云计算领域。在网络方面，与中国三大运营商，包括中国移动、中国电信、中国联通，还有中兴、华为等开展合作。在云计算方面，Linux 有云原生的一些项目，主要是和 BAT三家大的公司来开展合作。 在Jim 看来，新的企业和机构加入到 Linux 的活动当中，会给 Linux 带来更多的价值。 上周日本丰田宣布在销售最好的产品凯美瑞中使用 Linux 系统。汽车行业的加入，意味着将会对 Linux 内核提出新的要求，这对于为嵌入式系统开发解决方案的厂商来说也是很好的消息。加入 Linux 意味着他们的测试覆盖范围更大了，有更多的人对这个代码进行审议。 “总的来说，我们觉得越多的企业和组织架构加入到 Linux 的阵营，实际上对Linux 的发展是越好的。” （二）谈...阅读全文
息，帮助执行琐碎的任务，从而让 IT 人员能够完成更有针对性的工作。它们可以学习模式、预测问题并提出解决方案。如果 DevOps 的目标是统一开发和运营，AI 和 ML 可以消除过去二者之间的一些“对抗”状态。 本文转自微信公众号：高效开发运维...阅读全文
在Reddit上有人表示把42TB的普通存储（没有组RAID或者其他）全部采用Btrfs技术，通过把ext4文件系统迁移到Btrfs至少节省了5TB的存储空间。尽管已经开发了相当长时间，但是鲜有发行版把Btrfs当作默认的文件系统，目前SUSE企业版把Btrfs作为系统默认的文件系统。Linux.com日前采访了Btrfs的主要贡献者Chris Mason，通过他的讲述透露了社交巨头Facebook使用Linux内核与Btrfs文件系统的大量细节。 Chris Mason是开源文件系统项目Btrfs的主要贡献者，Mason最初在Oracle从事Btrfs的开发，后来他加入社交巨人Facebook的Linux内核技术小组继续从事Btrfs文件系统的研发工作。当Facebook需要升级新内核的...阅读全文
高可用性。使Prometheus高可用的一种方式是运行多个实例去scraping相同的作业。这些实例在抓取指标时会因微小的时间间隔差异而在数据中产生细微差异。此外，如果其中一个实例宕机了几个小时，那么当查询转发到该实例时，将会出现数据空白。如果我们使用grafana这样的工具将指标展示为图形，我们可能会得到不同的样本值或有数据缺失的图形。可以将Cortex配置为从多个HA Prometheus实例读取数据。它从一个主实例main接受指标，并从其他实例放弃该度量。一旦这个副本掉线，Cortex会无缝切换到另一副本并将其标记为主副本main。为此，Cortex着眼于两个标签，一个共同的标签与一个集群（或一组Prometheus）相关联，另一个识别副本。全局指标视图可以将Prometheus实例配...阅读全文
已经停止的容器，默认为1；（maxPerPodContainerCount）--maximum-dead-containers：一个 node 上最多可以保留多少个已经停止的容器，默认为 -1，表示没有限制；--minimum-container-ttl-duration：已经退出的容器可以存活的最小时间，默认为 0s；与镜像回收有关的主要有以下三个参数：--image-gc-high-threshold：当 kubelet 磁盘达到多少时，kubelet 开始回收镜像，默认为 85% 开始回收，根目录以及数据盘；--image-gc-low-threshold：回收镜像时当磁盘使用率减少至多少时停止回收，默认为 80%；--minimum-image-ttl-duration：未使用的镜像...阅读全文
中小型公司，尤其是互联网行业的创业公司，本身并没有太多的技术人员，如果设计系统时需要考虑诸多的技术问题，例如 Web 应用服务器如何配置、数据库如何配置、消息服务中间件如何搭建等等，那对于他们来说人员成本、系统成本会很高，Serverless 架构的出现，让这种情况可能可以大幅度改善。 初识 Serverless？ 在目前主流云计算 IaaS（Infrastructure-as-a-Service，基础设施即服务）和 PaaS（Platform-as-a-Service，平台即服务）中，开发人员进行业务开发时，仍然需要关心很多和服务器相关的服务端开发工作，比如缓存、消息服务、Web 应用服务器、数据库，以及对服务器进行性能优化，还需要考虑存储和计算资源，考虑负载均衡和横向扩展能力，考虑服务...阅读全文
这篇是 Buoyant 的创始人 William Morgan 文章《What Does Zero Trust Mean for Kubernetes?》 的翻译，文章很好的解释了什么是零信任、为什么要实施零信任，以及服务网格如何以最小的代码实现零信任。零信任是营销炒作，还是新的机会，各位看官你怎么看？要点零信任是一种被大量炒作的安全模型，但尽管存在营销噪音，但它对于具有安全意识的组织具有一些具体而直接的价值。零信任的核心是，将授权从“在边界验证一次”转变为“随时随地验证”。为此，零信任要求我们重新思考身份的概念，并摆脱基于位置的身份，例如 IP 地址。Kubernetes 采用者在网络层实现零信任时具有明显的优势，这要归功于基于 Sidecar 的服务网格，它提供无需更改应用程序就可实现...阅读全文
类的价值观）。风险在于，有人担心懂得“自我改进”的AI有可能会像科幻小说描写的那样，擅自改动代码或修改优化算法。 我深信，真正有利于促进人类和经济的前行的，是一个能够推动科学进步的社会架构。我们能从这样的社会架构中获益很多。 Audience Member：像GPT-3这样的基础模型会如何影响生命科学研究的步伐？生命科学研究中有没有一些技术手段无法克服的限制因素，比如自然规律等？ Sam Altman：目前的可用模型还不够好，不足以对生命科学领域产生重大影响——不少生命科学家了解这些模型之后都说，它们只能在部分情况下发挥些许作用。AI在基因组学领域有一些很有前景的应用方向，但目前尚属起步阶段，不过我很看好。我认为这也是市值千亿的巨头准备进军的领域之一。 如果AI未来真的可以让医药公司的研发速...阅读全文
地化工作也是做得非常到位，而凭借着架构简单，开箱即用的特点，CAT 也是我们得物使用的第一个应用监控系统。 二、 0x01 第一阶段 从0～1基于CAT的实时应用监控 在得物五彩石项目交付之前，系统仅有基础设施层面的监控，CAT 的引入，很好地弥补了应用监控盲区。它支持提供各个维度的性能监控报表，健康状况检测，异常统计，对故障问题排查起到了积极推动的作用，同时也提供简单的实时告警的能力。 CAT 拥有指标分钟级别的聚合统计的能力，从 UI 上不难看出，它拥有丰富的报表统计能力和问题排障能力。 但随着公司业务规模逐步扩大，微服务粒度也不可避免地变小，我们发现，CAT 已经逐步无法满足我们的使用场景了： 无法直观呈现全链路视图： 问题排障与日常性能分析的场景也越来越复杂，对于一个核心场景，其内部...阅读全文
持周期，以避免更新混乱的出现。 2、有利于产品的长期发展 福布斯杂志指出，90%的初创公司最后都会失败，而他们当中，只有不到一半的中小型公司存活期能超过5年。如果在产品开发的中途突然出现需要更换供应商的问题，那迁移的成本就很高了。所以，要避免选择只有一个供应商支持的产品。 而开源使得社区成员能够协同编写软件。如 OpenStack 就是由多个公司及个体志愿者共同编写的。这么做，就能保证，在一个供应商出现问题的情况下，其他供应商能继续支持。而且，软件一经开源，企业就会长期投入开发团队以实现产品开发。使用源代码的好处就是，你可以聘用贡献者来保证开发的活跃性。 3、更安全 以开源的方式进行开发，可以很直观地看到，供应商是如何对待安全问题，以及是否在积极保证产品安全。研究源代码并执行独立代码审核，也...阅读全文
在即将过去的一年中，DevOps经历了大规模容器化，许多公司投入了容器化的怀抱。这并不意味着DevOps相关工具已经成熟，但是这些工具为安全改进、容器化和工具集中化奠定了基础。以下是2017年DevOps的5大发展预测。 工具整合 根据Quali公司CTO Joan Wrabetz的说法，DevOps相关工具市场整合的时机已经成熟，这主要归功于消费者需求和公司数量的大规模增长。她提到：“为了简化流程，消费者只会选择其中的几个优秀软件，并且围绕着这些工具，将它们整合到自身的流程当中去。这将会导致越来越多的工具直接提供横跨整个持续交付周期端到端功能。” 另外，由于DevOps公司数量的增长，2017年将会迎来小公司的收购潮。“我们已经看见亚马逊对Chef进行了投资。另外，一些DepOps公司已...阅读全文
只能获取对应DB中表的变化信息. 一张表能够被逻辑流复制订阅,需要满足下列三个条件之一 1)这张表的流复制方式为全复制,即 REPLICA = FULL 可以通过DDL语句 alter table t REPLICA FULL 定制对应的表 这个选项使得对应表中每一行的变化数据被完整的记录到WAL中.所以带来了较多的IO负担. 2)这张表具有主键约束 有主键的表的变化信息会被记录到WAL中,相对于REPLICA FULL模式,old row没有变化的列将不会被记录到WAL中,对IO的影响相对FULL更小. 3)为该表指定一个非空的唯一索引,作为REPLICA INDEX. 可以通过DDL来定制相应的表 CREATE UNIQUE INDEX idx ON d(a); alter table...阅读全文
Linux 主线影响了 PaX/Grsecurity 的正常开发，这也是 PaX/Grsecurity 关闭公开访问 test patch 的主要原因之一，最近由 Qualys 曝光的 Stack clash 是一个古老的漏洞利用平面的工程化，这威胁到了几乎所有类 UNIX 系统（包括 GNU/Linux）的安全，当 Linux 内核 x86 的 maintainer 之一 Andy Lutomirski 问及 PaX/Grsecurity 是如何修复时 Linus 直接回复了 Grsecurity 是垃圾，有趣的是当 PaX/Grsecurity 的作者之一 Spender 曝光了一些内核最近的 silent fix 以后 Linus 居然 “邀请”PaX team/Spender 直接贡献代码...阅读全文
在Debian及其衍生的系统中，我们需要经常使用的软件包管理命令，对系统进行管理，以便系统达到预期的状态。Debian系统中，常用的软件包命令有 apt、apt-get、dpkg、apt-cache等，这里我们着重列举常见的一些用法。 软件包查询（不需要sudo权限） $ apt-cache search pkg_keyword #列出匹配关键字的软件包 $ apt search pkg_keyword #列出匹配关键字的软件包，包括了版本信息 $ apt list pkgname #查找该软件包，会显示版本信息 $ apt-cache show pkgname #查询软件包详细信息 $ apt show pkgname #查询软件包详细信息 $ apt-cache depends...阅读全文
近日，25千兆以太网联盟宣布更名为以太网技术联盟，并发布了800G以太网800GBASE-R规范，重用400G标准逻辑。 以太网技术联盟表示，“25千兆以太网联盟最初成立是为了开发25、50和100 Gbps以太网规格，现更名为以太网技术联盟，是为了更好反映对新技术的关注”。该行业联盟包括Arista、Broadcom、Cisco、Dell、Google、Mellanox和Microsoft。 更快的以太网将加快数据中心内部和数据中心之间的通信。该规范现在已经可用，并打算作为最终IEEE的正式标准工作的基础。以太网技术联盟(Ethernet Technology Consortium)正在重塑形象：该联盟成立于2014年，旨在推动网络速度的下一个突破，当时它采用了一个现在看来有些过时的名称...阅读全文
访问：天猫6·18 “开门红”超级红包活动主会场 | 手机版京东6·18“京享红包”25日12点开始领取 最大面额高达18618元 （图 via Orozco 2018）据悉，工程团队中有三位核心成员，且他们对 QUIC 的承诺深信不疑。其中包括 IETF QUIC 工作组只需 Mark Nottingham，协议主要贡献者兼 quicly 创作者 Kazuho Oku，以及核心文档集编辑、杰出工程师 Jana Iyengar 。最新消息是，互联网工程任务组（IETF）已经发布了 RFC 9000，且得到了 RFC 9001 / 9002 / 8999 支持，意味着 QUIC 已从草稿阶段转向了 1.0 正式版。与此同时，基于 QUIC 的 HTTP/3 也有望紧随其后很快发表。对于...阅读全文
CTO 招聘需求 ** 职位介绍：** 1. 全面负责技术层面的整体运营，制定研发战略和计划，负责全面实施，并与业务发展需求. 系统现状等结合起来； 2. 全面支持平台日常安全运营. 系统维护. 升级，确保公司各项投融资业务能在网站上安全. 有序开展，保障系统和数据的安全. 稳定； 3. 负责平台的研发与核心技术管理工作，组织制定和实施重大技术决策和技术方案； 4. 研究决策网站技术发展路线，规划公司产品的技术构架，负责互联网产品技术框架的选型与搭建，程序开发及技术攻坚； 5. 网站的技术团队的梯队化建设及管理，包括技术团队的培养； 6. 主导公司技术架构. 数据库结构. 业务逻辑等编码工作； 7. 负责制定技术开发规范. 编码规范等技术团队...阅读全文
。 TypeScript：TypeScript是JavaScript的超集，它可以增加类型检查、接口声明等特性，减少错误和提高可读性。 NestJS：NestJS是一种流行的Node.js框架，它采用面向对象的编程方式，提供了路由、中间件、模块化等丰富的功能。 GraphQL：GraphQL是一款优秀的数据查询和操作语言，它可以帮助我们快速构建API，并减少网络传输的数据量。 功能设计 我们将开发一个电商平台，包含以下主要功能： 用户管理：用户可以注册、登录、修改个人信息等，管理员可以查看用户列表并进行管理。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 购物车：用户可以将商品加入购物车，并在结算时进行支付。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文
知道他们可以通过勒索软件赚钱，并且在索要赎金方面变得越发大胆。常见的勒索软件攻击包括勒索软件运营商对数据进行加密，并强迫受害者支付赎金以解锁数据。在双重勒索中，勒索软件运营商会加密并窃取数据，进一步胁迫受害者支付赎金。如果不支付，勒索软件运营商就会将数据公布到泄漏网站或暗网，大部分数据泄漏网站都托管在暗网，而这些托管站点由勒索软件运营商创建和管理。在新冠疫情下，医疗行业成今年勒索软件最大目标。不法之徒得知医疗机构需要继续营运以治疗新冠患者，无法承担系统被锁定的后果，继而通过勒索软件进行攻击。勒索软件Ryuk在众多勒索软件中尤其猖獗。利用这种手段最多的勒索软件是NetWalker。从2020年1月到2021年1月，NetWalker泄漏了全球113家受害企业的数据（见下图），远远超过了其他勒索...阅读全文
Docker CE 19.03 和 EE 3.0 都已经发布，19.03 主要内容包括无需 root 权限、支持 GPU 的增强功能和 CLI 插件更新等等，19.03 现在是允许非 root 用户运行守护程序，启用 Rootless 模式可以防止攻击者夺取主机的 root 权限，即使 Docker 存在漏洞或设置错误。 更新内容如下： Builder 增加了内联缓存支持 –cache-from docker/engine#215允许输出配置 moby/moby#38898固定的 GCR 变通令牌缓存 docker/engine#212下载错误时调用 stopprogress docker/engine#215Buildkit 现在使用 systemd 的 resolv.conf...阅读全文
本开始，不再支持 32 位 PowerPC（PPC）架构，以后的发行版也不再会支持。但是 PPC64el（PowerPC 64 位 Little Endian）会持续支持。现在，已经可以从我们网站上下载 Ubuntu 17.04的 64 位（amd64）和 32 位 ISO（i386）镜像。 其他的 Ubuntu 风味版本也在今天开始发行，包括 Ubuntu GNOME 17.04、Ubuntu MATE 17.04、Kubuntu 17.04、Xubuntu 17.04、Lubuntu 17.04、Ubuntu Kylin 17.04、Ubuntu Studio 17.04 以及 Ubuntu Budgie 17.04，这也是 Budgie 桌面作为官方的 Ubuntu 风味版本的首次亮相...阅读全文
Kubernetes 1.18 发布了，这是 2020 年首次版本发布。此版本包含 38 项功能增强，其中 15 项为稳定版功能、11 项 beta 功能以及 12 项 alpha 版功能。 主要更新亮点包括： Kubernetes 拓扑管理器 beta 拓扑管理器的作用是让 CPU 与其它设备（例如 SR-IOV-VF）实现 NUMA 对齐，进而让工作负载运行在优化环境中以降低延迟。在拓扑管理器推出之前，CPU 与设备管理器只能彼此独立地做出资源分配决策。此版本拓扑管理器已经发展到 beta 版本。 Serverside Apply beta 2 beta 2 版本将跟踪并管理所有新 Kubernetes 对象的字段变更，确保用户及时了解哪些资源在何时进行过更改。 使用...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
许可证。 四个新的许可证 首先是 Cryptographic Autonomy License（CAL）。这个许可证是为分布式密码学应用而设计的。现有的开源许可证无法保证开放性，因为如果没有义务与其他对等体共享数据，那么一个对等体就有可能损害网络的运行。所以，CAL 除了是一个强大的版权许可以外，还包括向第三方提供独立使用和修改软件所需的权限和材料，而不使第三方有数据或功能的损失。 随着分布式密码学在加密结构的点对点共享中越来越多的使用，如果更多的开发者发现自己需要一个像 CAL 这样的法律工具，也就不足为奇了。我们希望由此产生的许可证是清晰易懂的，并希望开源从业者会发现它大有用处。 在我们之前的报道中曾提到，欧洲核子研究组织 CERN 提交的 CERN Open Hardware...阅读全文
发模式，以及促进其广泛的开发人员生态系统。此外，通过专利承诺、GPL 合作承诺、OIN 和 LOT 网络等工作，IBM 和 Red Hat 将继续致力于持续的开源自由。 除了 IBM Cloud 之外，IBM 和 Red Hat 还将继续构建和增强红帽合作伙伴关系，包括主要云提供商，如 AWS、微软 Azure、谷歌云与阿里巴巴等。与此同时，红帽将从 IBM 的混合云和企业 IT 规模中受益，帮助他们将开源技术组合扩展到全球业务。 “收购 Red Hat 是一个改变游戏规则的方式。它改变了有关云市场的一切”，IBM 公司董事长、总裁兼首席执行官 Ginni Rometty 表示：“IBM 将成为全球排名第一的混合云提供商，为企业提供唯一的开放云解决方案，为企业提供全面的云价值。” “如今，大...阅读全文
PHP 7.4 的GA版今天正式发布了。PHP 7.4发布后，PHP 7.3或其它的PHP 7版本都可以升级到PHP 7.4版。 PHP 7.4 的主要特性包括以下几个， 短闭包函数(short closure)预加载提交性能属性类型限定Improved type variance(不会翻译)三元运算简写数组展开运算新增类的魔术方法：serialization数字分隔符运算优先顺序允许在__toString中抛出异常支持反射引用新增字节分割函数移除php短标签弃用左关联运算符不再向后兼容的变更 短闭包函数 短闭包函数可以减少冗余代码： array_map(function (User $user) { return $user->id; }, $users) array_map(fn...阅读全文
存驱动、数码相机和 MP3 播放器中使用最为充分，你平时用这些电子产品的时候，多半就使用到了 exFAT 技术。 另一方面，在 19.10 版本中引入的 ZFS 作为根目录的支持会进一步得到改进，但是，它将保持实验状态。 关于 ZFS 的争论近期也因为 Linus Torvalds 的参与而白热化，他在某个论坛上讨论关于内核的相关问题时，提到了 ZFS 并表明了自己的态度，在 Oracle 对 ZFS 的代码进行重新授权以使其能更友好地被引入到 Linux 内核主线之前，他不会推荐使用 ZFS，同时，即便抛开许可证的原因，Linus 也觉得 ZFS 的综合性能并不特别强。随后有人公开宣称 Linus 不懂 ZFS。 此外，20.04 其它增强功能包括： GNOME 从 v3.34 升级到...阅读全文
Engineering Blog • 网址：https://engineering.fb.com • 特点： • Facebook工程博客，分享Facebook各种大规模系统架构设计，如Messenger、WhatsApp、Instagram的扩展性架构。 • 涉及分布式存储、大规模网络架构、机器学习架构等。🚩 二、架构与系统设计学习类网站📌 6. System Design Primer • 网址：https://github.com/donnemartin/system-design-primer • 特点： • GitHub上最流行的系统设计教程之一。 • 包括基础架构设计原则、高性能网站设计示例、详细的拓扑架构图。📌 7. The Architecture Notes • 网址：https...阅读全文
非常棘手。这让 Debian 技术委员会（Technical Committee）不堪重负。 Debian 章程中写明，技术委员会（TC）是决定所有技术相关事宜的权威，其中包括任何开发者拿不准主意的事情都会交到技术委员会那里。比如：开发者之间关于指令名称归属权的争议、冲突包之间的分歧、哪个包应该对现有的 bug 负责等等。 同时，技术委员会还需要就社区内有争议的事情发表正式的声明。比如 2014年的 systemd 之争，Debian 技术委员会就曾站出来说：接受 systemd（但是依旧有很多人不买帐）。 除此之外，Debian 章程中还在技术委员会的职责中写了这么一项：Make a decision when asked to do so（只要有需求就要做出决定），任何一个人的任何需求...阅读全文
数据也是在三个节点之间同步，但 Queue 的实际存储只会在一个节点。我们发送消息到指定 Queue，其实是发送消息到指定节点下的 Queue。如下图所示，消息发送至队列 testQueue，无论发送者通过哪个 RMQ 节点执行发送，其最终的执行都会是在 MQ03 节点执行消息的存储。 说到这儿，可能有的小伙伴就要问了？说好的，RabbitMQ 集群提供高可用性呢？分析一下，RabbitMQ集群搭建完成后，如果不进行任何高可用配置，会有哪些问题呢？ 单点故障会导致消息丢失：如果 MQ03 节点故障，那么 MQ03 中的消息就会丢失无法最大化的利用 RMQ 提升执行效率：既然每次发送到队列 testQueue 的消息都会在 MQ03 节点存储，那么何必搭建集群。 引入 RabbitMQ 的镜像...阅读全文
Rust 1.37.0 stable 有什么？Rust 1.37.0 的亮点包括通过类型别名引用枚举变量、内置 cargo vendor、对宏使用未命名的 const、配置文件引导的优化、Cargo 中的 default-run 和枚举上的 #[repr(align(N))] 。 通过类型别名引用枚举变量 在 Rust 1.37.0，可以通过类型别名引用枚举变量。例如： type ByteOption = Option; fn increment_or_zero(x: ByteOption) -> u8 { match x { ByteOption::Some(y) => y + 1, ByteOption::None => 0, } } 要实现它，Self 充当类型别名。在 Rust...阅读全文
Java 架构师是什么？是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展，为目标客户提供更为全面的需求清单。 所谓架构师，思考的是全局的东西，是如何组织你的系统，以达到业务要求，性能要求，具备可扩展性（scalability），可拓展性（extendability），前后兼容性等。可能涉及到的东西包括了从硬件到软件的方方面面。 架构师在软件开发的整个过程中起着很重要的作用。 架构师的主要任务不是从事具体的软件程序的编写，而是从事更高层次的开发构架工作。他必须对开发技术非常了解，并且需要有良好的组织管理能力。可以这样说，一个架构师工作的好坏决定了整个软件开发项目的成败。 在成为Java架构...阅读全文
一句话概况：stackstorm是一个事件驱动的自动化引擎。StackStorm 是一坨功能强大的开源自动化平台，可将通过使用插件封装API的方式，将所有应用程序，服务和工作流程连接起来。这里的所有包括了目前我们常用Gitlab、Zabbix、ELK、AWS 等服务。 Stackstorm 具有很好的可扩展性，灵活性，完美支持 ChatOps 和全操作的API实现。通过Stackstorm 可以将您现有的基础架构和应用程序环境联系在一起，以便您可以更轻松地自动化操作该环境。它特别专注于针对事件采取行动。 便利的故障排除 - 触发由Nagios，Sensu，New Relic和其他监控系统捕获的系统故障，在物理节点、OpenStack或Amazon实例和应用程序组件上运行一系列诊断检查，并将...阅读全文
TLC闪存旗鼓相当。 注：每Cell单元存储数据越多，单位面积容量就越高，但同时导致不同电压状态越多，越难控制，导致颗粒稳定性越差，寿命低，利弊都有。 不得不承认，TLC闪存的出现大大提升了SSD的容量，并在一定程度上降低了SSD的价格。不过，依旧没解决SSD价格的难题，大容量SSD仍旧贵。小容量SSD+大容量HDD的存储方案，终究没有单纯大容量SSD来得好。 当QLC 闪存的诞生，也许既廉价又拥有超大容量的SSD，从理想变为现实。 QLC与TLC之间的区别： 1、寿命 前段时间，东芝称其QLC NAND拥有多达1000次左右的P/E编程擦写循环，打破100-150次魔咒，可以与TLC闪存颗粒寿命想媲美。如果真的达到这个标准，那么QLC SSD就能够“理直气壮”进入市场了。 1000次寿命,对于...阅读全文
riched20 这个过程要下载两个文件W2KSP4_EN.EXE与InstMsiW.exe，很难下载，中断了失败不要紧，可以不断执行winetricks riched20，直到网络能够连上解决的话下载成功就OK。 安装好riched20库后，可以按上面小节“安装应用”的方法，安装微信与QQ。笔者成功用wine安装微信PC版2.9.5与QQ PC版9.3.7。并且用fcitx输入法可以输入文字。 其中找不到wine的QQ如何打开的话，它路径是~/.wine/drive_c/Program Files (x86)/Tencent/QQ/Bin/QQ.exe，右击选择wine打开即可。 补充：同样方法也安装TIM（如果有冲突说另一程序运行，可以重启电脑再安装）成功。路径为~/.wine/drive_c...阅读全文
回绑定变量后的函数（也即闭包），此时即便生成闭包的环境（父函数）已经释放，闭包仍然存在，这个过程很像类（父函数）生成实例（闭包），不同的是父函数只在调用时执行，执行完毕后其环境就会释放，而类则在文件执行时创建，一般程序执行完毕后作用域才释放，因此对一些需要重用的功能且不足以定义为类的行为，使用闭包会比使用类占用更少的资源，且更轻巧灵活，现举一例：假设我们仅仅想打印出各类动物的叫声，分别以类和闭包来实现： 可以看到输出结果是完全一样的，但显然类的实现相对繁琐，且这里只是想输出一下动物的叫声，定义一个 Animal 类未免小题大做，而且 voice 函数在执行完毕后，其作用域就已经释放，但 Animal 类及其实例 dog 的相应属性却一直贮存在内存中： 而这种占用对于实现该功能后，则是没有必要...阅读全文
样，比如说资本、技术、品牌、网络效应和做管理。 专注于将你所定义的成功指标增加十倍是有用的，这些指标可以是赚钱、社会地位、世界级影响力或者其他东西。我乐意接受挑战，愿意在各种项目上花时间以解锁下一个项目。但是我希望在每一个项目上都能取得最大成就，创造职业生涯新高度。 但是大多数人都被困于线性发展的泥潭，往往捡了芝麻丢了西瓜，我们要学会抓大放小，寻求跳跃式提升。 在我看来，无论是企业还是个人，最大的竞争优势就是要把目光放长远。我们要打开眼界，看出世界上不同体系之间交融互动的方式。复合增长最重要的就是眼光要尽可能放长远，这样的人才能抢占市场先机，获得最大回报。 要相信指数曲线，耐心坚持下去，最后一定会有惊喜。 2 要有绝对自信 自信拥有不可思议的力量，就我认识的人来说，最成功的往往都是那些自信到...阅读全文
非常活跃的社区，有80,000个StackOverflow问题和数不清的博客来自开发人员和高级用户。 有一些流行网站使用Django，包括 Bitbucket, Pinterest, Instagram, 以及 The Onion。 Django的人气不断飙升，可能仍然是Python开发人员最受欢迎的选择。 您之前的项目是否用过Django？ 你真的认为Django是Python开发人员最好的框架吗？ 一如既往，您的意见对于所有读者都至关重要，请在下面的评论栏中分享您的看法。 原文出处： manmohan 译文出处：开源中国 Django“自备军需”（Batteries-Included） 目录...阅读全文
Operator 与 kube-prometheus 之二 - 如何监控 1.23+ kubeadm 集群, 安装完成后, 开箱即用. 开箱即用内容包括: 抓取 apiserver 和 kubelet 指标;(即 serviceMonitor) 配置证书过期时间的相关告警; (即 PrometheusRule) 这里用到的指标有: apiserver apiserver_client_certificate_expiration_seconds_count apiserver_client_certificate_expiration_seconds_bucket kubelet kubelet_certificate_manager_client_expiration_renew_errors...阅读全文
我们将介绍，如何在三个树莓派上，创建出一套 Kubernetes 集群并正常使用。在这种场景下，主节点的内存和 CPU 资源较有限，执行 Kubernetes 任务时性能会有折扣，想做升级也不容易。 在开始之前，我们先介绍 K3s 这个项目。K3s 被誉为是最轻量级的 Kubernetes 发行版，它针对低配的 x86 和 ARM 处理器优化，可以让 Kubernetes 在树莓派上运行得更好。 基于 Raspbian 的 kubernetes 集群 本文我们将介绍如何使用 K3s 在树莓派上创建 Kubernetes 集群。系统我们用的是树莓派最流行的 Raspbian。 准备工作 在开始创建 Kubernetes 集群之前，我们需要准备， 至少一个树莓派，包括 SD 卡和电源网线，普通...阅读全文
