Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
近日，Intel发布了最新版本的Linux处理器微代码数据文件，而这个补丁文件能够修复Intel CPU中的Spectre以及Meltdown漏洞。广大用户可以使用微代码文件来修复操作系统中目前已知的Intel CPU安全漏洞，而无需在计算机中执行BIOS更新。 根据Intel微代码下载页面所提供的介绍，Intel此次发布了40种不同版本（针对Linux）的补丁代码，可适用于多款不同型号的Intel处理器。 下面给出的就是Intel官方网站列出的处理器支持型号。大家可以参考下列表格以及cpu-world.com网站上的CPU信息来寻找合适自己处理器的补丁版本。注意，下列表格中的CPU版本号为十六进制值（例如(06-3c-03:32)），你可以在cpu-world.com寻找到相匹配的处理器...阅读全文
在本教程中，我们将使用 Gogs 在 Debian 9 上按步骤指导您安装和配置您的私有 Git 服务器。这篇教程中涵盖了如何在 Debian Stretch 上安装 Go 语言、PostgreSQL 和安装并且配置 Nginx 网页服务器作为 Go 应用的反向代理的细节内容。 步骤 4 - 使用 Gogs 安装 Git 服务 使用 git 用户登录并且使用 go 命令从 GitHub 下载 Gogs， su - git go get -u github.com/gogits/gogs 此命令将在 $GOPATH/src 目录下载 Gogs 的所有源代码。 切换至 $GOPATH/src/github.com/gogits/gogs 目录，并且使用下列命令搭建 Gogs。 cd...阅读全文
随着 Python 之父 Guido van Rossum 逐步卸任 BDFL，Python（CPython）的未来之路牵动了万千开发者的心。没了首领，Python 今后的发展会怎么样？社区将如何运作？谁来领导 Python 这门语言和社区呢？这些问题不得不解决，而用什么样的方式解决，这就需要先由社区讨论并最终决定。 前两天我们分析过目前 Python 社区已经提出的 7 种正在进行投票的治理方案，而最新消息是，目前投票环节已经结束，最终 PEP 8016 当选了新时代的 Python 社区治理方案。 PEP 8016 治理方案采用指导委员会模式，其特点是引导治理的迭代，该方案由 Nathaniel J. Smith 和 Donald Stufft 提出。 PEP 8016 中提出了不信任...阅读全文
通道（就是两条PCI-E），而 M.2（Socket 3）的固态则可以走 PCI-E 3.0×4 通道。 需要说的是每条 PCI-E 3.0 的带宽是 8Gbps，而 SATA 3.0 的带宽则只有 6Gbps。 最后要说的就是经常被商家拿来当作卖点的 NVMe 了。其实 NVMe 跟 AHCI 都是一种规范，就像是在路上走如果没有交通规则的限制，那么肯定是一团拥挤肯定都走不动了，而 NVMe 和 AHCI 就像是这种交通规则。 AHIC 是针对 SATA 这种弯路的交通规则。然后开发者发现，这种针对弯路的规范，数据只能一个一个通过的规则用在宽敞的 PCIE 通道上面实在太浪费了，于是针对 PCIE 通道又开发出了 NVME 规范，可以让很多数据同时通过。 总结：M.2 跟 SATA 其实可...阅读全文
DNS SRV 是 DNS 记录中一种，用来查询指定服务的地址。与常见的A记录、CNAME 不同的是，SRV中除了记录服务器的地址，还记录了服务的端口，并且可以设置每个服务地址的优先级和权重。RFC-2782 给出DNS SRV的建议标准，它是在2000年的时候提出来的。 访问服务的时候，本地的服务从 DNS 服务器查询到一个地址列表，根据优先级和权重，从中选取一个地址作为本次请求的目标地址。 一个支持SRV的 LDAP client 通过查询域名，可以得知 LDAP 服务的 IP 地址和服务端口： _ldap._tcp.example.com 这个域名的格式是 rfc-2782 中推荐的格式，_ldap表示LDAP服务，_tcp表示通过TCP协议访问LDAP服务。 SRV 的 DNS 类...阅读全文
] munmap(0x7f53d0000000, 13275136) = 0 [pid 19343] mmap(NULL, 8392704, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS|MAP_STACK, -1, 0) = 0x7f53d04a8000 Process 19495 attached 我检查了一下trace文件也没有发现大量内存mmap动作，即便是brk动作引起的内存增长也不大。于是感觉人生都没有方向了，然后怀疑是不是文件缓存把虚拟内存占掉了，注释掉了代码中所有读写日志的代码，虚拟内存依然增加，排除了这个可能。 灵光一现 后来，我开始减少thread的数量开始测试，在测试的时候偶然发现一个很奇怪的现象。那就是如果进程创建了一个线程并且在该...阅读全文
： systemctl restart php7.2-fpm 更多日常的操作： systemctl restart php7.2-fpm #重启 systemctl start php7.2-fpm #启动 systemctl stop php7.2-fpm #关闭 systemctl status php7.2-fpm #检查状态 安装更多组件 上面的一条命令安装 PHP 只是安装了部分 PHP 拓展，更多的软件可见： root@debian.cn-service:~# apt-cache search php7.2 php-radius - radius client library for PHP php-http - PECL HTTP module for PHP Extended HTTP...阅读全文
!= nil { errors = append(errors, err) } return utilerrors.NewAggregate(errors) }cgc.evictContainers在 cgc.evictContainers 方法中会回收所有可被回收的容器，其主要逻辑为：1、首先调用 cgc.evictableContainers 获取可被回收的容器作为 evictUnits，可被回收的容器指非 running 状态且创建时间超过 MinAge，evictUnits 数组中包含 pod 与 container 的对应关系；2、回收 deleted 状态以及 terminated 状态的 pod，遍历 evictUnits，若 pod 是否处于 deleted 或者 terminated...阅读全文
