境传输提供保障： 若缺少上述“充分性认定”，控制者或者处理者当且仅当其提供了适当的保障时，可以将个人数据传输给第三国及国际组织。 这种“适当的保障”可以通过以下几种方式提供： （a）在公共机构或团体之间有法律约束力和执行力的文件； （b）由欧盟委员会通过的标准数据保护条款（即《欧盟数据跨境转移协议模板（SCC）》所设定的条款，内容一般不可变更）； （c）由监管机构通过、并由欧盟委员会批准的数据传输方和接收方之间签订的特定标准数据保护协议（即“Ad-hoc data protection clauses”，与上述“SCC标准模板”相互区分。但截至2018年尚未有欧盟成员国的数据保护监管机构批准这类协议）； （d）代表不同种类的控制者和处理者的协会和其它机构可以制定行为准则（Code of...阅读全文
要给唯一id，以及对应的版本号。/config: 集群配置信息。/controller：kafka集群当中的控制器信息，控制器组件（Controller），是Apache Kafka的核心组件。它的主要作用是在Apache ZooKeeper的帮助下管理和协调整个Kafka集群。/controller_epoch：主要用于保存记录controller的选举的次数。/isr_change_notification：isr列表发生变更时候的通知，在kafka当中由于存在ISR列表变更的情况发生,为了保证ISR列表更新的及时性，定义了isr_change_notification这个节点，主要用于通知Controller来及时将ISR列表进行变更。/latest_producer_id_block...阅读全文
-2 个大版本后都会发布一个变化稍微少一点的版本，主要目的是把一些特性稳定下来。 1.14 版本就是这样一个定位，我们称之为质量改进和维护的版本。这个版本预计 8 月 16 日停止新特性开发，可能在 9 月份能够和大家正式见面，有兴趣可以关注以下链接去跟踪功能发布进度。 Wiki：https://cwiki.apache.org/confluence/display/FLINK/1.14+Release Jira：https://issues.apache.org/jira/projects/FLINK/versions/12349614 [1] 截至到 8 月 31 日，确定进入新版本的是 33 个，已全部完成。 二、流批一体 流批一体其实从 Flink 1.9 版本开始就受到持续的关注，它...阅读全文
。即使用户空间的占用率提高一倍，其CPU占用率也仅为10%，这也解释了为何7层处理对性能影响有限这一现象。由此，在高端系统上HAProxy的7层性能可轻易超过硬件负载均衡设备。 在生产环境中，在7层处理上使用HAProxy作为昂贵的高端硬件负载均衡设备故障故障时的紧急解决方案也时长可见。硬件负载均衡设备在“报文”级别处理请求，这在支持跨报文请求(request across multiple packets)有着较高的难度，并且它们不缓冲任何数据，因此有着较长的响应时间。对应地，软件负载均衡设备使用TCP缓冲，可建立极长的请求，且有着较大的响应时间。 二，安装配置HAProxy 以下实验环境均为 Debian i686平台。 1，安装haproxy [root@LB ~]# apt-get...阅读全文
Kubernetes v1.21 下个月就要发布了（v1.21.0 将于 4 月 8 日发布），本文梳理该版本带来的新特性，以便你为下个月的升级做好准备。PodSecurityPolicy 弃用PodSecurityPolicy（PSP）是 Kubernetes 1.8 开始就支持的 Beta 特性，大量应用于容器的安全策略控制。但由于其 API 不够灵活、认证模型不够完善且配置更新繁琐等缺陷，PodSecurityPolicy 将在 v1.21 正式弃用[1]，并将在 v1.25 中从代码库中删除。已经使用 PodSecurityPolicy 的用户建议迁移到 Gatekeeper[2]。不可变 ConfigMap/Secret 进入稳定版当集群包含大量 ConfigMap 和...阅读全文
同一台主机，同样的workload，kubelet 中配置CPU绑定后的性能变化： 绑核的配置放在 /etc/kubernetes/kubelet 中的这两行： ``` FEATURE_GATES="--feature-gates=CPUManager=true" CPU_MANAGER_POLICY="--cpu-manager-policy=static" ``` 绑核前： ``` procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in...阅读全文
解决方案的可扩展性时，我们也从中受益，也可以扩大规模。“解决现实问题2012 年左右，CERN 正在研究如何为大型强子对撞机扩展计算能力，但难点是人员而不是技术。CERN 雇用的员工人数是固定的。“我们必须找到一种方法来扩展计算能力，而不需要大量额外的人来管理。”Bell 说，“OpenStack 为我们提供了一个自动的 API 驱动和软件定义的基础架构。”OpenStack 还帮助 CERN 检查与服务交付相关的问题，然后使其自动化，而无需增加员工。“我们目前在日内瓦和布达佩斯的两个数据中心运行大约 280000 个处理器核心和 7000 台服务器。我们正在使用软件定义的基础架构使一切自动化，这使我们能够在保持员工数量不变的同时继续添加更多的服务器。“Bell 说。随着时间的推移，CERN...阅读全文
的。许多基于Debian的发行版(包括Ubuntu)使用Testing或者Unstable软件包，不过在发布之前进行自己的一番测试。除非准备进行技术方面的重大变化，比如上一个版本改用systemd，否则Unstable通常来说足够安全，如果你借鉴的对象仅限于非核心元素(比如桌面环境)，更是如此。 5.自由程度的选择 Debian软件库分为三个部分：Main、Contrib 和 Non-Free。Main完全包括免费许可证的软件，Contrib包括本身免费许可证的软件，但是依赖其他的非免费软件，而Non-Free包括采用专有许可证发布的软件。 Debian安装时只启用了Main，所以该项目的偏好显而易见。不过，添加另外两个部分只需要五分钟的时间来编辑/etc/apt/sources.list...阅读全文
TLC闪存旗鼓相当。 注：每Cell单元存储数据越多，单位面积容量就越高，但同时导致不同电压状态越多，越难控制，导致颗粒稳定性越差，寿命低，利弊都有。 不得不承认，TLC闪存的出现大大提升了SSD的容量，并在一定程度上降低了SSD的价格。不过，依旧没解决SSD价格的难题，大容量SSD仍旧贵。小容量SSD+大容量HDD的存储方案，终究没有单纯大容量SSD来得好。 当QLC 闪存的诞生，也许既廉价又拥有超大容量的SSD，从理想变为现实。 QLC与TLC之间的区别： 1、寿命 前段时间，东芝称其QLC NAND拥有多达1000次左右的P/E编程擦写循环，打破100-150次魔咒，可以与TLC闪存颗粒寿命想媲美。如果真的达到这个标准，那么QLC SSD就能够“理直气壮”进入市场了。 1000次寿命,对于...阅读全文
，Aptitude也很有用。实用的功能特性包括why命令和why-not命令，前者显示依赖某软件包的其他软件包，后者显示什么软件包与某个指定软件包冲突。此外，Resolver菜单列出了可能解决破损软件包的方法，从破坏性最小的那种方法开始。 6. apt-cache apt-cache搜索已安装软件包数据库，寻找信息。它能显示关于单个软件包、依赖项和冲突等方面的信息，以及其他众多信息。 一个特别有用的命令是apt-cache search，它可搜索数据库中的文本字符串。使用这个命令，你就能找到软件包的具体名称，那样可以安装它，还可以找到想要安装的相关软件包。在Debian中，它必不可少，所以默认情况下已安装。 5. dpkg-reconfigure dpkg-reconfigure可改变安装软件包的方法。比如...阅读全文
pam_google_authenticator.so 此外，我们还需要注释掉这一行 "@include common-auth”，这样 PAM 就不会提示输入密码，修改后如下： # Standard Un*x authentication. # @include common-auth 接下来，我们需要编辑 SSH 服务器配置文件： vim /etc/ssh/sshd_config 改变 ChallengeResponseAuthentication 的值为 yes，以便我们启用键盘交互的认证方式： ChallengeResponseAuthentication yes 接下来，添加以下代码行来启用两个身份验证方案：SSH 密钥和谷歌认证器（需要键盘交互）： AuthenticationMethods "publickey,keyboard...阅读全文
玲珑，面面俱到 作为一个开发者，你很可能希望为开源项目解决一个特定的痛点。或许你想要运行在一个目前还不支持的系统上，抑或你很希望改革社区目前使用的安全技术。想要引进新技术，特别是比较有争议的技术，最好的办法就是让人无法拒绝它。你需要透彻地了解底层代码，考虑每个极端情况。在不影响已实现功能的前提下增加新功能。不仅仅是完成就行，还要在特性的完善上下功夫。 糜不有初，鲜克有终 开源社区也有许多玩玩就算的人，但是承诺了就不要轻易失信。不要就因为提交被拒就离开社区。找出原因，修正错误，然后再试一试。当你开发时候，要和整个代码库保持一致，确保即使项目发生变化而你的补丁仍然可用。不要把你的代码留给别人修复，要自己修复。这样可以在社区形成良好的风气，每个人都自己改。 这些“潜规则”看上去很简单，但是还是有许...阅读全文
用 docker inspect 命令查看。可用来代替被舍弃的 MAINTAINER 命令。语法： LABEL
期，并使得更多贡献者乐于投身其中并建立起更具活力的生态系统。 项目态势 CNCF方面已经建立起一个野心勃勃的项目，希望以可视化方式呈现Kubernetes项目中各项贡献的具体内容。K8s DevStats[10]则展示了各大型企业贡献者带来的成果。在本轮版本发布期间，开放问题的数量基本保持不变，但fork与项目各独立库数量则上涨了约20%。自上次发布以来，提交者数量略有上升，但整体来看基本保持稳定。Kubernetes目前拥有75000多条评论，仍然是GitHub上最受关注的项目之一。 原文参考这里。相关链接： https://kubernetes.io/docs/reference/workloads-18-19/ https://github.com/kubernetes...阅读全文
memory.pressure cgroup.controllers：当前 cgroup 开启的 controller 列表。 cgroup.events：存在于非 root cgroup 中，包括两个字段：populated 和 frozen。 ❯ cat cgroup.events populated 0 frozen 0 populated：如果当前 cgroup 和子层级中没有存活的进程，populated 值为 0，否则为 1。值改变时会触发 poll 和 notify 事件。考虑以下 cgroup 层级（括号中的数字代表 cgroup 中的进程数量）： A(4) - B(0) - C(1) \ D(0) A，B 和 C 的 populated 值都为 1，D 的 populated 值为 0，如果 C 中对...阅读全文
需要租赁托管的服务器来运行网站，他们必须支付足够费用才能获得想要的性能。阿尔瓦雷兹介绍说，科技公司租用的服务器往往超过了实际所需，造成浪费。亚马逊联系到了他，介绍即将推出的新服务，并提供了提前试用。阿尔瓦雷兹回忆说：“一瞬间我明白了，亚马逊提供了一个改变我一生的产品，这将改变我的人生，以及所有开发者的人生。”这样的评价并不夸张。S3蓬勃发展，时至今日已经在网络上保存了100万亿个数据对象。亚马逊云计算负责对象和块存储的副总裁麦兰·汤姆森·布科维奇（Mai-Lan Tomsen Bukovec）在接受电视媒体采访时介绍说，今天一些企业客户存储的数据多达几百PB（1PB等于1024TB），某些案例下甚至多达1EB（等于1024PB）。有时候，企业在S3上保存的数据超出了必要。上述业内人士金塞拉回...阅读全文
发现，Calico 项目实际上将集群里的所有节点，都当作是边界路由器来处理，它们一起组成了一个全连通的网络，互相之间通过 BGP 协议交换路由规则。这些节点，我们称为 BGP Peer。而 Flannel host-gw 和 Calico 的唯一不一样的地方就是当数据包下一跳到达node2节点容器时发生变化，并且出数据包也发生变化，知道它是从veth的设备流出，容器里面的数据包到达宿主机上，这个数据包到达node2之后，它又根据一个特殊的路由规则，这个会记录目的通信地址的cni网络，然后通过cali设备进去容器，这个就跟网线一样，数据包通过这个网线发到容器中，这也是一个二层的网络互通才能实现。Route Reflector 模式（RR）（路由反射）设置方法请参考官方链接 https...阅读全文
任务，”CommandJobHandler”）；业务方只需要提供命令行即可； 6、任务状态优化，仅运行状态”NORMAL” 任务关联至 quartz，降低 quartz 底层数据存储与调度压力； 7、任务状态规范：新增任务默认停止状态，任务更新时保持任务状态不变； 8、IP 获取逻辑优化，优先遍历网卡来获取可用 IP ； 9、任务新增的 API 服务接口返回任务 ID，方便调用方实用； 10、组件化优化，移除对 spring 的依赖：非 spring 应用选用 “XxlJobExecutor” 、spring 应用选用 “XxlJobSpringExecutor” 作为执行器组件； 11、任务 RollingLog 展示逻辑优化，修复超时任务无法查看的问题； 12、多项 UI 组件升级到最新...阅读全文
，channel的零值也是nil。两个相同类型的channel可以使用==运算符比较。如果两个channel引用的是相同的对象，那么比较的结果为真。一个channel也可以和nil进行比较。通道的操作发送ch := make(chan int,0) // 创建一个无缓存区的int channel ch <- 998 // 向通道发送一个int类型的值10 接收receiver := <-ch //将通道ch的值取出，赋值给变量receiver <- ch //将通道ch的值取出，忽略结果 关闭close(ch) // 关闭通道 关于关闭通道需要注意的事情是，只有在通知接收方goroutine所有的数据都发送完毕的时候才需要关闭通道。通道是可以被垃圾回收机制回收的，它和关闭文件是不一样的，在结束操作之后关闭...阅读全文
今天我们发布了Docker CE 17.06，它包含了诸多新特性、优化和bug修复。我们在四月份的DockeCon上公布了Moby项目，Docker CE 17.06是第一个完全构建在它基础上的Docker版本。变更日志中能看到完整的更新列表，我们来看看它的一些新特性。 我们也为这篇文章制作了一个视频版本。 多阶段构建 17.06 CE最大的特性是它的多阶段构建（multi-stage builds），它最初在四月的DockerCon被公布，现在已经达到了稳定版本。多阶段构建能从一个Dockerfile中构建出更加简洁、体积更小的Docker镜像。 多阶段构建通过构建过渡镜像并产生输出。这样就能在一个过渡镜像中编译代码，在最终的镜像中只使用它的输出。例如，Java开发者通常使用Apache...阅读全文
立好需要 listen 的 socket（listenfd）之后，然后再 fork 出多个 worker 进程。所有 worker 进程的 listenfd 会在新连接到来时变得可读，为保证只有一个进程处理该连接，所有 worker 进程在注册 listenfd 读事件前抢 accept_mutex，抢到互斥锁的那个进程注册 listenfd 读事件，在读事件里调用 accept 接受该连接。当一个 worker 进程在 accept 这个连接之后，就开始读取请求，解析请求，处理请求，产生数据后，再返回给客户端，最后才断开连接，这样一个完整的请求就是这样的了。我们可以看到，一个请求，完全由 worker 进程来处理，而且只在一个 worker 进程中处理。 在 Nginx 服务器的运行过程中...阅读全文
的资源。例如，如果您的集群的利用率仅为25%，以资源的最大使用量和 Request 来衡量，则 Allocate idle costs 会按比例增加每个 pod/NS/Deployment 的成本到原来的4倍。 6. **图表选择**： 切换到条形图视图以查看所选窗口的汇总成本，或切换到时间序列视图以查看成本随时间的变化。 7. **附加选项**： 查看其他选项以将成本数据导出为 CSV 或查看帮助文档。 ### Assets  Kubecost Assets 视图显示了按集群中单个资源细分的 Kubernetes 集群成本（例如，按节点、磁盘...阅读全文
： save [seconds] [changes] 意为在[seconds]秒内如果发生了[changes]次数据修改，则进行一次RDB快照保存，例如 save 60 100 会让Redis每60秒检查一次数据变更情况，如果发生了100次或以上的数据变更，则进行RDB快照保存。 可以配置多条save指令，让Redis执行多级的快照保存策略。 Redis默认开启RDB快照，默认的RDB策略如下： save 900 1 save 300 10 save 60 10000 也可以通过BGSAVE命令手工触发RDB快照保存。 RDB的优点： 对性能影响最小。如前文所述，Redis在保存RDB快照时会fork出子进程进行，几乎不影响Redis处理客户端请求的效率。 每次快照会生成一个完整的数据快照文件，所以可...阅读全文
制以完成诸如服务发现、流量控制、重试熔断、安全访问等，而这相关的网络控制功能就是集成在Dapr的Sidecar中，以对应用透明的方式集成进来的。整体的服务调用流程如下图所示： PS：如果对Istio熟悉的同学需要注意，二者虽然都是通过Sidecar的模式进行网络控制，但二者是有有区别的。Dapr是以API的方式，而Istio是以代理的方式（不改变HTTP请求URI)。 2. State management（状态管理） 在进行微服务开发时，绕不开的话题就是服务间的状态共享、并发一致性问题。对于状态共享，你可能会说，各个服务连接到同一个Redis实例就OK了。是，但不得不考虑潜在的更新冲突的问题。Dapr 以更友好的HTTP API的方式进行状态的存储和读取，同时支持通过ETags进行并发控制...阅读全文
，并定义相关的分发策略，就足以实现 Kubeflow 的同步策略。 初始化 TFJob 后，将会在每个 worker 节点上创建一个新的 **TF_CONFIG** 环境变量。其中包含了关于训练批次、当前训练迭代以及 TFJob 用于执行分布式训练的其他参数的信息。通过与各种 Kubernetes 控制器、 API 进行交互，Tf-operator 协调训练过程，并维护在清单中定义的预期状态。 另外，通过 tf-operator，异步训练模式可以使用 **ParameterServerStrategy**。在[这里](https://iamondemand.com/blog/scaling-tensorflow-models-on-kubernetes/)（以及下面），你将看到一个由 tf...阅读全文
/ helm delete --purge cassie helm delete --purge prom-one helm delete --purge grafana 结论Cortex是一个强大的工具，可无缝地运行多个Prometheus服务器，同时简化了用户的操作和使用。虽然Thanos确实提供了非常相似的功能，但它们的实现方式却大不相同。通过尝试实现的用例将推动选择Cortex与Thanos。但是，Cortex确实使运行高度可扩展且具有弹性的基于Prometheus的监视系统变得容易。翻译: 云原生生态圈 · Marionxue作者: By Shaunak Deshmukh原文: https://www.infracloud.io/blogs/cortex-prometheus-ha/参考资料...阅读全文
探针则不会生效。译者：还有一点尽量为 Pod 内的所有容器都定义探针。使用自动缩放在适当的情况下，可以使用自动缩放来动态调整 pod 的数量（Pod 水平自动缩放器，HPA）、pod 消耗的资源量（Pod 垂直自动缩放器, VPA）或集群中的节点数量（集群自动缩放器，CA），具体取决于 对资源的需求。Pod 水平自动扩缩器还可以根据 CPU 需求扩展复制控制器、副本集或有状态集。使用缩放也带来了一些挑战，例如不在容器的本地文件系统中存储持久数据，因为这会阻止水平自动缩放。相反，可以使用 PersistentVolume。当集群上存在高度可变的工作负载并且可能根据需求在不同时间需要不同数量的资源时，集群自动缩放器非常有用。 自动删除未使用的节点也是省钱的好方法！译者：更多自动缩放的内容，可以浏...阅读全文
