Response并通过Spider中间件(输入方向)发送给Spider处理。 Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。 (从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。 事件驱动网络(Event-driven networking) Scrapy基于事件驱动网络框架 Twisted 编写。因此，Scrapy基于并发性考虑由非阻塞(即异步)的实现。 关于异步编程及Twisted更多的内容请查看下列链接: Introduction to Deferreds in Twisted Twisted - hello...阅读全文
"read" from the disk and stored for later use. 2.1 Cache Cache：高速缓存，是位于CPU与主内存间的一种容量较小但速度很高的存储器。 由于CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了系统的效率。 Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache)，L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。 2.2 Buffer Buffer：缓...阅读全文
GitHub的高级技术副总裁Jason Warner在2018的技术趋势中挑出了数据、工作流集成（workflow integration）以及开源工具，他认为这些是一个公司在2018年能够取得成功的关键。 Warner写道，数据将成为2018年全球增长的最重要因素： 现如今，所有的公司都是数据公司，不论他们是否意识到这个情况。在2018年，只要团队知道如何使用数据，数据就会成为他们最大的资产。 数据的重要性日益增长，也标志着云服务平台从分布式云计算平台转型成为数据处理的云平台，其中还包括数据分析和机器学习。这将重点反映到三个关键领域： Warner说，许多重要的系统目前都很脆弱，尽管它们的规模越来越大。为了应对在2018年变得更加频繁的攻击，将会有更多的财力和开发资源分配到改进安全性上...阅读全文
我司使用钉钉作为主要的内部通讯工具，基本上大家在电脑和手机上都开着，消息可以第一时间查看，报警消息的即时性要求比较高，我们计划使用钉钉来发送报警通知。本文将简要介绍发送消息的API使用样例。钉钉的API接口文档，请查阅钉钉开放平台。 介绍如何用 Python 实现钉钉自动发送消息，你可以用来和报警平台整合，或者做ChatOps。 获取 access token 要使用钉钉发送消息，首先需要获取access token，代码如下： def get_access_token(): url = 'https://oapi.dingtalk.com/gettoken?corpid=%s&corpsecret=%s' % (corp_id, corp_secret) request...阅读全文
2018年11月12日，北京时间16:00，Linux基金会在德国柏林“Ceph Day”上正式宣布成立“Ceph基金会”来支持Ceph开源项目。Ceph基金会接受Linux基金会的管理，它的成立将为Ceph社区的合作和成长提供一个中立的机构。高级会员和一般会员每年缴纳会员费，准会员是教育机构或政府组织，并被邀请免费加入。 理事会由所有高级成员，普通成员代表，准成员代表和Ceph领导团队（技术治理机构）代表组成。董事会负责： 建立并批准用于支持Ceph项目的年度预算 建立特设委员会以满足项目的当前需求 协调外展或营销 定期开会讨论基金会活动，Ceph项目的现状以及整体项目战略 在董事会面前对任何决定或事项进行投票 Ceph基金会董事会不对Ceph的技术治理负责，也没有任何直接控制权。开发和...阅读全文
通道（就是两条PCI-E），而 M.2（Socket 3）的固态则可以走 PCI-E 3.0×4 通道。 需要说的是每条 PCI-E 3.0 的带宽是 8Gbps，而 SATA 3.0 的带宽则只有 6Gbps。 最后要说的就是经常被商家拿来当作卖点的 NVMe 了。其实 NVMe 跟 AHCI 都是一种规范，就像是在路上走如果没有交通规则的限制，那么肯定是一团拥挤肯定都走不动了，而 NVMe 和 AHCI 就像是这种交通规则。 AHIC 是针对 SATA 这种弯路的交通规则。然后开发者发现，这种针对弯路的规范，数据只能一个一个通过的规则用在宽敞的 PCIE 通道上面实在太浪费了，于是针对 PCIE 通道又开发出了 NVME 规范，可以让很多数据同时通过。 总结：M.2 跟 SATA 其实可...阅读全文
级的记录，按照权重选择，记录的权重越高，被选择的可能性越高。 选择的时候，将所有记录的权重值累加，得到一个选择区间[0,sum]，每个记录在[0,sum]中占据一段连续的、长度为自身权重值区间。然后生成一个[0,sum]中的随机数，随机数落在的区间所属的记录就是被选择的记录。 注意事项 在使用DNS SRV的时候，要注意DNS Client是否按照预期的方式处理收到的SRV记录。当前DNS SRV只能够负责提供服务地址列表，对这个列表如何解读，完全取决于Client的实现。rfc-1035中规定，通过UDP协议传输DNS响应时，UDP报文的负载不能超过512字节，在添加 SRV 记录的时候，要特别注意。通过TCP传输时没有512字节的限制。当一个服务地址有多个相同优先级的SRV记录的时候...阅读全文
本月初，Debian 开发团队发起投票以决定是否要支持非 systemd 初始化系统。现在投票已结束，最终投票结果为“选择 systemd 但同时探索替代方案”。 当时的投票总共包括 8 个选项： 继续专注于 systemd选择 systemd 但同时探索替代方案支持多个初始化系统很重要支持非 systemd 初始化系统，但避免影响进度支持可移植性，避免影响进度支持多个初始化系统是必要的支持可移植性和多个初始化系统需要进一步讨论 根据 Debian 公布的结果，最终获胜的投票选项为： “Systemd but we support exploring alternatives.”（选择 systemd 但同时探索替代方案） 对于这个选项，发起此提案的开发者也讲述了他的想法： Debian...阅读全文
随着 Debian Buster 10.3 的发布，Debian Buster 日趋稳定。如果在生产上使用了 Debian 9 的系统，现在是可以安全的，灰度升级到 Debian Buster 做前期验证了。这里我们整理一下国内较知名的镜像站点，共大家在生产环境中使用。 如何更新系统安装源 一般我们修改 /etc/apt/sources.list 文件，将 Debian 的默认源地址改成新的地址即可，比如将 http://deb.debian.org 改成 https://mirrors.163.com，可使用以下这条命令： sed -i 's#http://deb.debian.org#https://mirrors.163.com#g' /etc/apt/sources.list 注意...阅读全文
口，可以读取以Prometheus支持的格式呈现的指标： $ curl https://IP:6443/api/v1/nodes/k8s-master01/proxy/metrics/cadvisor # HELP cadvisor_version_info A metric with a constant '1' value labeled by kernel version, OS version, docker version, cadvisor version & cadvisor revision. # TYPE cadvisor_version_info gauge cadvisor_version_info{cadvisorRevision="",cadvisorVersion...阅读全文
给每个节点和待分配的pod进行打分。1.首先可用的node和pod会被打分函数进行打分，分数在0-10分之间。并且每个打分函数还有一个权重值。那么一个可用的node节点最后的总分就是：Σ函数打分*函数的权重值。 node节点总分 =（函数1的打分 * 函数1权重值）+......+（函数n的打分 * 函数n的权重值） 2.打分函数即优先级函数的种类： 这里只介绍了一部分的优先级函数算法，还有许多算法在这里未解释有兴趣的小伙伴可以上网查一下哦。 小结 kube-scheduler组件将整个集群资源调配变得很科学。比如该如何分配pod的副本到其他的node节点中，或者如何分配pod使得集群运转的更加高效。此外kube-scheduler还支持第三方的调度器进行扩展，所以是一种插件化的实现。...阅读全文
subscribers configuration files below. name_servers=127.0.0.1接着重启 NetworkManager：$ sudo systemctl restart NetworkManager 如果你使用了libvirt来管理虚拟机，你会发现虚拟机会断网，重启host即可。 内网DNS咋办？使用 dnscrypt-proxy 固然爽，但是有个小问题，就是如果是在公司里，很有可能就有内网DNS，这就很蛋疼了， dnscrypt-proxy 有一个解决方案，那就是使用 cloaking rules，编辑 /etc/dnscrypt-proxy/dnscrypt-proxy.toml，把 cloaking_rules 这一行 注释掉，然后编辑 /etc/dnscrypt...阅读全文
CTO 招聘需求 ** 职位介绍：** 1. 全面负责技术层面的整体运营，制定研发战略和计划，负责全面实施，并与业务发展需求. 系统现状等结合起来； 2. 全面支持平台日常安全运营. 系统维护. 升级，确保公司各项投融资业务能在网站上安全. 有序开展，保障系统和数据的安全. 稳定； 3. 负责平台的研发与核心技术管理工作，组织制定和实施重大技术决策和技术方案； 4. 研究决策网站技术发展路线，规划公司产品的技术构架，负责互联网产品技术框架的选型与搭建，程序开发及技术攻坚； 5. 网站的技术团队的梯队化建设及管理，包括技术团队的培养； 6. 主导公司技术架构. 数据库结构. 业务逻辑等编码工作； 7. 负责制定技术开发规范. 编码规范等技术团队...阅读全文
较于PHP、Python、Java来说，JavaScript是最有可能在物联网大行其道的解释性语言。 JavaScript在浏览器没有对手，nodejs在服务器端也在不停的攻城拔寨，积累了大量的资源，构建了一个完整的应用开发生态环境。 JavaScript语言本身特点适合互联网，事件驱动，异步使单线程处理网络事件得心应手。 JavaScript已经跨界到物联网，受到了行业巨头的关注，各种项目发展的如火如荼。 未来的物联网开发 如果JavaScript在物联网获得成功，那么物联网的开发将会发生巨大的变化。 底层驱动由C实现，应用开发者不需要关注硬件，大量的互联网、移动互联网应用开发者加入物联网开发。 传统的交叉编译、烧写、调试的开发方式使用范围将急剧缩小 所见即所得，上位机和下位机的架构由C...阅读全文
。 environment用于定义job部署到特殊的环境中。如果指定了environment，并且没有该名称下的环境，则会自动创建新环境。 在最简单的格式中，环境关键字可以定义为： deploy to production: stage: deploy script: git push production HEAD:master environment: name: production 在上面这个例子中，deploy to profuctionjob将会执行部署到production环境的操作。 environment:name 注意 GitLab 8.11 开始引入。 在GitLab8.11之前，环境名称定义为environment:production。现在推荐的做法是定义为name关键字...阅读全文
系统提供的socket缓冲区大小为8K，你可以将之设置为64K，尤其在传输实时视频时。 socket发送数据时候先把数据发送到socket缓冲区中，之后接受函数再从缓冲区中取数据，如果发送端特别快的时候，缓冲区很快就被填满（socket默认的是1024×8=8192字节），这时候我们应该根据情况设置缓冲区的大小，可以通过setsockopt函数实现 #include
extract目录下dpkg -X ../openssh-xxx.deb extract/#解压出包的控制信息extract/DEBIAN/下：dp... deb解压软件 01-04 用于解压deb文件，后续可以用其它软件将解压后的文件转ipa 获取deb包并进行解压方法 狂客队长 05-26 1万+ 获取deb包： apt-get download 包名 解压deb包： 在这里保证你已经下载好了deb包，并且自己已经在deb包所在的目录了，然后解压缩deb包 ar -x pakname.deb 解压deb完毕后会发现多出几个文件，这里主要用到data.tar.gz等包，这个是放着二进制文件的包，用tar解压这个包 tar -zxf data.tar.gz Ubuntu中deb包详解及打包教程 张懿的博...阅读全文
Prometheus 客户端公开了在暴露服务指标时能够运用的四种指标类型。查看 Prometheus 的文档 以获得关于各种指标类型的深入信息。 Counter（计数器 一种累加的 metric，典型的应用如：请求的个数，结束的任务数，出现的错误数等。随着客户端不断请求，数值越来越大。例如api_http_requests_total{method="POST", handler="/messages"} Gauge（计量器） 一种常规的 metric，典型的应用如：温度，运行的 goroutines 的个数。返回的数值会上下波动。 例如 go_goroutines{instance="172.17.0.2", job="Prometheus"} Histogram（分布图） 可以理解为柱状图，典型的应用如...阅读全文
表的不同部分，都会有不同的评审者进行细致的审查。当然如果是结对编程，且你的队友能进行高质量的代码评审，那么这样写的代码一般可以视为已经过评审了。此外，我们也可以进行面对面的评审，评审者会问开发者一些问题。 根据谷歌的项目描述，代码审核规范为两套独立文档组成，代表了两方面内容的最佳实践： 代码评审者的指南CL 作者指南 在其中一些文档中使用了一些术语，如下： CL：表示“变更列表 (changelist)”，意思是已经提交到版本控制或正在进行代码检查的一个独立的更改。其他组织通常称为“改变”或“补丁”LGTM：意思是“在我看来不错 (Looks Good to Me)”，这是代码审阅者在批准 CL 时说的 接下来我们来看看两份文档分别的主要内容是什么： 1. 代码评审者的指南——如何进行代码评...阅读全文
用。 学校机房（从 U盘 和 DVD 启动）使用 任何可以（从 U盘 和 DVD ）启动使用的计算机上。 安装向导： 如何在你的硬盘驱动器上安装 Kodachi Linux： 从你的 USB 或 ISO 映像引导。 在桌面菜单上进入 – >系统 – > Refracta 安装程序 – >使用 su – >输入密码 r@@t00 – >简单安装 – >运行 GParted – >设备 – >创建分区表 – >应用 – >分区 – >新建 – >添加 – >应用所有操作 – >关闭 – >关闭 GParted 窗口 – >选择分区 – >确定 – >继续安装 – >关闭窗口 – > y – >配置主机及用户名！不要在这里更改用户名，否则 Kodachi 脚本会出现错误 – >勾选前 2 个框允许...阅读全文
展。去年我们与华为、中国移动宣布了一个开源项目，后来有中国电信和中国联通的加入；再后来又有国际运营商 AT&T、Orange 和中国一些企业共同联手合作，希望能够建立世界上最大的开源的电信类基础设施。由此可以看到现在中国也有一些高质量的开源项目。” 最后，Jim 寄语 LC3 活动： “我们之所以举办 LC3 大会是希望全世界顶尖的开发者和中国的企业、顶尖开发者共聚一堂，分享最佳实践，我们相信未来中国会有更多的自主的开源的项目。 届时，Linux 创始人 Linus Torvalds 将来到中国，和中国开源的开发者进行交流，希望能够推动中国的开源项目不断地发展和扩展。 大会还邀请到开源项目和技术方面的有 OpenStack 项目执行董事、Kubernetes 项目负责人...阅读全文
tmux 之外如何进行控制 session 会话：session是一个特定的终端组合。输入tmux就可以打开一个新的 session tmux new -s session_name 创建一个叫做 session_name 的 tmux session tmux attach -t session_name 重新开启叫做 session_name 的 tmux session tmux switch -t session_name 转换到叫做 session_name 的 tmux session tmux list-sessions / tmux ls 列出现有的所有 session tmux detach 离开当前开启的 session tmux kill-server 关闭所有...阅读全文
，因为一个CPU一次只能执行一条指令，这种情况就是并发，系统看似能处理多任务是因为不停的切换任务，但因为时间非常短，所以在我们的感官来说就是同时进行的。而计算机系统真实的并行是随着多核CPU的出现才有的。 临界区临界区表示公共资源或是共享数据，可以被多个线程使用。但是每次只能有一个线程使用它，一旦临界区的资源被占用，其他线程就必须等到资源释放后才能继续使用该资源。在Java程序开发中，对于这样的资源一般都需要做同步的操作，例如下面的这段代码，用的就是synchronized关键字来对临界区资源进行同步。 public class SyncTest implements Runnable { //临界区资源 public static SyncTest instance = new...阅读全文
channel通道golang的并发模型是序列通信处理CSP（communicating sequential process）——使用通信来共享内存 ，避免goroutine因竞争共享内存频繁加锁产生的性能问题。基本数据结构golang中提供了一个特殊的类型channel实现goroutine之间的通信。channel类似于队列，先进先出。channel数据结构源码在src/runtime/chan.go下。chan 使用 hchan 表示，它的传参与赋值始终都是指针形式，每个 hchan 对象代表着一个 chan。hchan 中包含一个缓冲区 buf，它表示已经发送但是还未被接收的数据缓存。buf 的大小由创建 chan 时的参数来决定。qcount 表示当前缓冲区中有效数据的总量...阅读全文
位置。 "none" 表示不保存任何日志(直接丢弃所有收集到的日志)， 但日志转发(见下文)不受影响。 默认值是 "auto" Compress= 默认值"yes"表示： 压缩存储大于特定阈值的对象。 Seal= 默认值"yes"表示：如果存在一个"sealing key"(由 journalctl(1) 的 --setup-keys 命令创建)， 那么就为所有持久保存的日志文件启用 FSS(Seekable Sequential Key Generators)保护， 以避免日志文件被恶意或无意的修改。 SplitMode= 设置是否按照每个用户分割日志文件，以实现对日志的访问控制(日志守护进程会确保每个用户都能读取自己的日志文件)。 可以使用的分割策略如下： "uid" 表示每个用户都有自...阅读全文
