# PostgreSQL 增量同步方案详细设计 ## 一:方案目的 通过PG实例的增量数据同步方案,解决PG在数据迁移中需要进行全量同步,需要长时间停服务的问题. 通过该方案,打通PG和其他数据产品间的数据通道,做到PG和其他数据产品和异构数据库间的实时的同步. ## 二:增量同步方案的技术背景 该方案基于PostgreSQL 9.4版本的逻辑流复制技术. PG9.4 可以做到,利用逻辑流复制,把表的增量数据,以自定义格式的形式组织起来被客户端订阅. 自定义格式的增量数据是逻辑流复制的关键,通过PG内核给出了开放的接口(5个回调函数),可以把增量数据以任意的形式输出. PG的客户端根据需要按照服务端规定的格式解析,就能得到完整的增量数据. ## 三:订阅增量数据的订阅规则 PG增量同步方案...阅读全文
作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。 在实时和离线的需求同时存在的状态下，以往的流批独立技术方案存在着一些痛点，比如： 需要维护两套系统，相应的就需要两组开发人员，人力的投入成本很高； 另外，两套数据链路处理相似内容带来维护的风险性和冗余； 最重要的一点是，如果流批使用的不是同一套数据处理系统，引擎本身差异可能会存在数据口径不一致的问题，从而导致业务数据存在一定的误差。这种误差对于大数据分析会有比较大的影响。 在这样的背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。 Flink 在过去的几个版本中，在流批一体方面做了很多的工作。可以认为 Flink...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
软件。RagnarLocker排名第二，泄漏了全球26家受害企业的数据。值得一提的是，美国司法部在2021年1月宣布协调国际执法行动，瓦解NetWalker勒索软件团伙。由NetWalker运营商管理的托管泄漏数据的暗网域名已经无法访问。图片来自于 派拓网络全球威胁情报团队 Unit 42最后报告提出三项建议，分别是初始进入、备份和恢复流程以及安全监控。在初始进入方面，建议企业使用者保持对电子邮件安全的认识和培训，并在恶意电子邮件进入邮箱后立即识别和补救。其次企业要进行适当的修补管理，并审查哪些服务可能暴露在互联网上。再者远端桌面服务要正确配置并确保安全，尽可能使用最低许可权，并制定策略对付勒索软件。在备份和恢复流程方面，企业需备份资料，并提前规划好适当的恢复流程。企业要确保所有备份都在离线...阅读全文
Solo 是一款 一个命令 就能搭建好的 Java 开源博客系统，如果你想开个独立博客，请一定不要错过！2.5.0 版本主要支持了 Markdown/JSON 格式数据导出，并改进了 Markdown 渲染。 另外，我们 新的博客产品 Pipe（golang 开发）已经开源 ，欢迎大家来围观！ 安装 下载 安装包 解压后执行 java -cp WEB-INF/lib/*;WEB-INF/classes org.b3log.solo.Starter 从 2.4.0 升级只需将已有的配置拷贝覆盖即可，启动后会自动升级。 文档 用户指南 ：安装、配置、备份以及常见问题 开发指南 ：开发环境、项目结构、框架说明 皮肤开发 ：开发步骤、模版变量 插件开发 ：插件机制、处理流程 项目...阅读全文
GitHub的高级技术副总裁Jason Warner在2018的技术趋势中挑出了数据、工作流集成（workflow integration）以及开源工具，他认为这些是一个公司在2018年能够取得成功的关键。 Warner写道，数据将成为2018年全球增长的最重要因素： 现如今，所有的公司都是数据公司，不论他们是否意识到这个情况。在2018年，只要团队知道如何使用数据，数据就会成为他们最大的资产。 数据的重要性日益增长，也标志着云服务平台从分布式云计算平台转型成为数据处理的云平台，其中还包括数据分析和机器学习。这将重点反映到三个关键领域： Warner说，许多重要的系统目前都很脆弱，尽管它们的规模越来越大。为了应对在2018年变得更加频繁的攻击，将会有更多的财力和开发资源分配到改进安全性上...阅读全文
Bugfix: 如果流模块中的服务器在通配符地址上监听，则响应 UDP 数据报的源地址可能与原始数据报目的地址不同 下载地址 nginx-1.13.0 pgp nginx/Windows-1.13.0 pgp Changelog：http://nginx.org/en/CHANGES 转自 http://www.oschina.net/news/84189/nginx-mainline-version-1-13-0...阅读全文
结果发布到IM中，比如 HipChat、JIRA 或者 Slack 等。 自动修复 - 识别和验证OpenStack计算节点上的硬件故障，正确排空实例并向管理员发送关于潜在停机时间的电子邮件，但如果出现任何问题 - 冻结工作流程并呼叫PagerDuty唤醒人员。 持续部署 - 与Jenkins一起构建和测试，配置新的AWS群集，基于NewRelic的应用程序性能数据，打开负载均衡器的一些流量，以及前滚或回滚。 Stackstorm工作原理 主要组件角色： 传感器（Sensors） 用于分别接收或监视事件的入站或出站集成的Python插件。 当来自外部系统的事件发生并由传感器处理时，StackStorm触发器将发射到系统中。 触发器（Triggers）外部事件的StackStorm表示形式...阅读全文
的数据平面和先进的控制平面，极大地降低了各团队使用的难度。Kuma 可以在 Kubernetes、虚拟机、容器、裸机和传统环境等任意平台上运行，以落实整个组织中的云原生体验。 得益于成熟的控制平面，Kuma 开箱即用地使得下层网络安全、可靠和可观测，而无需更改代码。Kuma 高效的数据平面和先进的控制平面，允许用户通过少量的 Kubernetes 原生 CRD 或者 RESTful API 请求来方便地设置权限，暴露监控数据和设置路由规则。 Kuma 的主要功能包括： 软件定义安全（Software Defined Security）：Kuma 支持所有第四层流量的双向 TLS（mutual TLS）。用户可以通过简单的权限设置来实现访问控制。强大的生产力功能 ：Kuma 使得用户能快速实现...阅读全文
同点：不再关注于给生产环境推送单独的变更，而是关注于想要达到的状态。不再维护一步一步的工作流，而是让服务所有者使用配置来描述他们想要基础架构达到的样子：运行什么job，负载均衡器的搭建，数据库schema的位置等等。 基于这些信息，Prodspec和Annealing将这些配置转化成统一的结构，随后被执行。执行是安全并且持续性的：自动化系统重复地比较用户模型所表达的预期状态和生产环境的状态，并且在安全的时候自动触发reconciliation。服务所有者不再需要将配置变更手动推送到生产环境里。 因为我们从2015年左右就开始开发Prodspec和Annealing，基于intent的执行（intent-based actuation）这一简单明了的理念如今已经成了实际的标准。Google生产...阅读全文
有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ 站点的用户活动追踪: 为了更好地理解用户行为，改善用户体验，将用户查看了哪个页面、点击了哪些内容等信息发送到每个数据中心的Kafka集群上，并通过Hadoop进行分析、生成日常报告。 流处理：保存收集流数据，以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始topic来的数据进行 阶段性处理，汇总，扩充或者以其他的方式转换到新的topic下再继续后面的处理。例如一个文章推荐的处理流程...阅读全文
富的组件和主题，可以快速构建美观、易用的页面。 Axios：Axios是一种流行的HTTP请求库，它可以轻松地处理异步请求、拦截器等功能。 ECharts：ECharts是一款优秀的图表库，它可以提供多种类型的图表和交互方式，可以方便地展示数据。 功能设计 商城后台管理系统通常包含以下功能： 登录/注销：管理员可以通过用户名和密码进行登录，并可以退出登录。 权限管理：管理员可以对用户和角色进行管理，控制用户的访问权限。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 数据统计：管理员可以查看系统中的数据统计报表，包括销售额、订单量、会员数等。 开发流程 下面是商城后台管理系统的开发流程： 1. 搭建环...阅读全文
在即将过去的一年中，DevOps经历了大规模容器化，许多公司投入了容器化的怀抱。这并不意味着DevOps相关工具已经成熟，但是这些工具为安全改进、容器化和工具集中化奠定了基础。以下是2017年DevOps的5大发展预测。 工具整合 根据Quali公司CTO Joan Wrabetz的说法，DevOps相关工具市场整合的时机已经成熟，这主要归功于消费者需求和公司数量的大规模增长。她提到：“为了简化流程，消费者只会选择其中的几个优秀软件，并且围绕着这些工具，将它们整合到自身的流程当中去。这将会导致越来越多的工具直接提供横跨整个持续交付周期端到端功能。” 另外，由于DevOps公司数量的增长，2017年将会迎来小公司的收购潮。“我们已经看见亚马逊对Chef进行了投资。另外，一些DepOps公司已...阅读全文
你可以通过 iftop、Nethogs 和 vnstat 这三个 Linux 网络命令，了解有关你网络连接的大量信息。iftop 通过进程号跟踪网络连接，Nethogs 可以快速显示哪个在占用你的带宽，而 vnstat 作为一个很好的轻量级守护进程运行，可以随时随地记录你的使用情况。 iftop iftop 监听你指定的网络接口，并以 top 的形式展示连接。 这是一个很好的小工具，用于快速识别占用、测量速度，并保持网络流量的总体运行。看到我们使用了多少带宽是非常令人惊讶的，特别是对于我们这些还记得使用电话线、调制解调器、让人尖叫的 Kbit 速度和真实的实时波特率的老年人来说。我们很久以前就放弃了波特率，转而使用比特率。波特率测量信号变化，有时与比特率相同，但大多数情况下不是。 如果你只...阅读全文
。 TypeScript：TypeScript是JavaScript的超集，它可以增加类型检查、接口声明等特性，减少错误和提高可读性。 NestJS：NestJS是一种流行的Node.js框架，它采用面向对象的编程方式，提供了路由、中间件、模块化等丰富的功能。 GraphQL：GraphQL是一款优秀的数据查询和操作语言，它可以帮助我们快速构建API，并减少网络传输的数据量。 功能设计 我们将开发一个电商平台，包含以下主要功能： 用户管理：用户可以注册、登录、修改个人信息等，管理员可以查看用户列表并进行管理。 商品管理：管理员可以添加、修改、删除商品信息，包括商品名称、价格、库存、图片等。 购物车：用户可以将商品加入购物车，并在结算时进行支付。 订单管理：管理员可以查看订单列表、订单详情、订单状态等。 开发流程 下面是全栈开发的开发流...阅读全文
Vultr是一家性价比非常高的VPS提供商，多达15个数据库中心可以选择，并且全部使用SSD硬盘、KVM架构。网上有很多与DigitalOcean、Linode对比的文章，这篇文章主要是分享一下Vultr日本节点的使用感受。 之前看到很多文章对洛杉矶和日本节点进行了测试，不过最近从个人测试来看，电信到Vultr洛杉矶节点目前已经绕路一大圈，丢包也是惨不忍睹，估计是电信又在调整的原因，不知后期是否能恢复正常。 Vultr日本节点以前是限制200G流量，不过现在流量已经增加至400G/月，如果只是安心放网站是完全足够的，最便宜的配置只需要5$/月，1CPU、768MB内存、15GB存储、1000M共享带宽，性价比是非常不错的。 性价比虽不错,那对国内环境来说网络情况又如何，下面是不同运营商的...阅读全文
性的，这很关键。 logpipe 概念朴实、使用方便、配置简练，没有如 sink 等一大堆新名词。 logpipe 由若干个 input、事件总线和若干个 output 组成。启动 logpipe 管理进程 (monitor)，派生一个工作进程 (worker)，监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个 input 插件和若干个 output 插件，进入事件循环，任一 input 插件产生消息后输出给所有 output 插件。 logpipe 自带了几个插件，分别是： logpipe-input-file 用 inotify 异步实时监控日志目录，一旦有文件新建或文件增长事件发生（注意：不是周期性轮询文件修改时间和大小），立即捕获文件名和读取文件追加数据。该插件拥有文件大小...阅读全文
本文将介绍如何远程升级 Debian 11 Bullseye 到最新的稳定版 Debian 12 Bookworm。本升级流程简单、快速，适用于绝大部分运行在 公有云 上的主机实例。 在升级之前，建议妥善备份重要的数据，InfraPub 有一个简单的备份策略，只需要一个文件列表 记录需要备份的文件及目录，即可实现快速备份， ``` ## cat /root/backup.list /var/lib/mysql /etc/mysql /var/www /etc/nginx ``` 随后使用一条命令即可备份: `tar czvf /tmp/backup.tgz --files-from /root/backup.list` 稳妥期间，备份时把数据库类的服务停一下...阅读全文
工作规范和工作流程，并跟踪开发过程实际合规性； 8. 指导. 审核项目总体技术方案，对各项目进行最后的质量评估； 9. 负责技术团队建设和管理，注重人才培养和营造创新的研发文化； 10. 完成各项技术工作相关数据统计分析报告，并据此对公司发展提出合理化建议。 ** 岗位要求：** 1. 本科及以上学历，计算机. 软件工程相关专业，互联网行业优先考虑； 2. 10年及以上技术研发. 软件开发相关行业工作经验，5年以上互联网行业技术研发团队管理经验， 精通基于Java. PHP等语言的开发，熟悉服务端软件架构设计与开发流程；有互联网CTO或技术总监工作经验，带过百人以上团队； 3. 熟悉互联网领域业务，深刻理解产业发展方向，具备敏锐准确的洞察力和缜密的逻...阅读全文
外媒 betanews 近日与一些企业高管进行了一些交流并得出结论称，开发者体验正经历一个优先级转变。即，云供应商和技术公司在开发者体验方面聚焦了更多的目光；这些公司正在投资和构建工具，以帮助开发人员更好、更快、更高效地工作。 开源数据库公司 Percona 的产品高级副总裁 Donnie Berkholz 指出，发生这种焦点变化的原因在于，企业希望他们的开发人员更有生产力，对他们的工作方式更加满意，但他们也希望围绕技术管理和控制自己的命运。他们希望提供同样水平的速度和效率，但要跨越他们的 IT stacks 来设置东西。对于运行私有云的公司来说，这就是要与那些完全致力于公共云的竞争对手平起平坐。 并补充称，开发者体验投资将是为了使这种自助式的构建应用程序的方法能够发挥作用，并迅速发挥作用...阅读全文
JBoot 是一个基于 JFinal 和 Undertow 开发的微服务框架。提供了 AOP、RPC、分布式缓存、限流、降级、熔断、统一配置中心、Opentracing 数据追踪、metrics 数据监控、分布式 session、代码生成器、shiro 和 jwt 安全控制、swagger api 自动生成等功能。 Jboot v1.7.1 主要更新如下： 新增：redis 添加自定义序列化配置的功能 新增：Jboot.java 添加方法 service(Class clazz, JbootrpcServiceConfig config) 方便获取 rpc service 新增：JbootController 添加 getRawObject() 方便获取 api 传过来的 json 数据...阅读全文
，Kubernetes 将继续更加流行，并仍然是开源中最大的成功案例之一。 作者简介： Anurag Gupta - Anurag Gupta 是推动统一日志层 Fluentd Enterprise 发展的 Treasure Data 的产品经理。 Anurag 致力于大型数据技术，包括 Azure Log Analytics 和如 Microsoft System Center 的企业 IT 服务。本文转自https://opensource.com/, 中文版来自Linux.cn...阅读全文
) 对style的操作(对不同的属性操作，影响不一样) 还有一种是用户的操作，比如改变浏览器大小，改变浏览器的字体大小等(回流+重绘) 4、本地存储 本地存储最原始的方式就是 cookie,cookie 是存放在本地浏览器的一段文本，数据以键值对的形式保存，可以设置过期时间。 但是 cookie 不适合大量数据的存储，因为每请求一次页面，cookie 都会发送给服务器，这使得 cookie 速度很慢而且效率也不高。因此cookie的大小被限制为4k左右(不同浏览器可能不同,分HOST)，如下所示： Firefox和Safari允许cookie多达4097个字节，包括名（name）、值（value）和等号。 Opera允许cookie多达4096个字节，包括：名（name）、值（value）和等号...阅读全文
，CPU持续上升到99% 5分钟内，大量应用报警，并且拒绝服务，RDS的监控显示出现大量慢SQL，联系服务器数据库提供商进行协助 8分钟内，进行数据库主备切换（业务会受损，但是也没办法，没有定位到问题） 9分钟内，部分业务恢复，但是一些业务订单的回调消息堆积超过20w，备库的CPU使用率也持续上升 15分钟内，备库CPU使用率超过97%，业务再次中断，进行切回主库，并进行限流 20分钟内，关闭一些次要应用的流量入口 25分钟内，主库CPU使用率恢复正常 30分钟内，逐步开启关闭的限流应用 35分钟内，所有应用恢复正常 接下来就是与服务器数据库提供商成立应急小组紧急优化可能出现的慢SQL，虽然说可能解决了一些慢SQL，但此次并没有定位到具体的问题，也就为几天后再次发生宕机事件埋下了伏笔 事故影响 某...阅读全文
次数，并自动重新平衡服务器之间的碎片，以平均分配服务器负载。此外，Dgraph 更有效地处理复制，从而使可扩展性成为可操作的功能。 据悉，Dgraph 的下一步计划是提供托管管理服务，并对其用户界面进行重大改进。此外，它还将在其语言列表中添加流行的图形语言 Open Cypher 和 Gremlin ，以方便用户切换到 Dgraph 。...阅读全文
和强大性，更重要的是它的框架(MSF)。它允许使用者开发自己的漏洞脚本，从而进行测试。 之所以称为框架，因为 MSF 本身包含了很多漏洞攻击模块，由一群开发者在进行维护和更新，更重要的是几乎每个 CVE 漏洞都会被添加到 MSF 里，有人称之为是“可以黑掉整个宇宙”的渗透测试框架。 这个强大的框架日前已发布最新的 5.0 版本。这是 Metasploit 团队在过去一年中的工作成果。此外，该版本还是自2011年以来 Metasploit 的第一个主要版本。Metasploit 5.0 带来了许多新功能，以及新的发布周期。 其中官方特别提到 Metasploit 5.0 使用了新的数据库，并提供了一种新的数据服务。新版本引入了新的规避机制(evasion capabilities)，支持多项语...阅读全文
head 信息对模型进行 数据库级别约束对于 runserver 兼容性的调整 ，以改进浏览大量文件进行更改时的性能 随着 Django 2.2 的发布，Django 2.1 已到达获得主流支持的终点 —— 今天发布了最后的小错误修复版本 2.1.8。Django 2.1 将在 2019 年 12 月之前收到安全问题和数据丢失的修复程序。因此鼓励所有用户在此之前升级以继续接收安全问题的修复程序。 有关受支持版本以及未来发布计划的安排表，请参阅 下载页面 。 Django roadmap 路线发布计划 Django 生命周期...阅读全文
WireGuard 是 Jason A. Donenfeld 开发的开源VPN协议。目前支持Linux, macOS, Android 以及 OpenWrt。iOS 和 Windows 官方客户端还在开发，但第三方 Windows 客户端已经出现。WireGuard 被视为下一代VPN协议，用来替代OpenVPN，IPSec等VPN协议。 WireGuard 协议作为 Linux 内核模块运行，所以效率极高。使用了最先进的加密技术(利用Curve25519进行密钥交换，ChaCha20和Poly1305用于数据认证，BLAKE2用于散列)，安全性毋庸置疑。WireGuard 是为嵌入式设备开发的，支持IP地址漫游，也就是网络断开再连，对它不会有影响。WireGuard 使用 UDP 协议传...阅读全文
读取。用户态进程读取这些数据后，进一步关联 Kubernetes 元数据后推送到存储端。这是整体处理过程。eBPF 的超能力体现在能订阅各种内核事件，如文件读写、网络流量等，运行在 Kubernetes 中的容器或者 Pod 里的一切行为都是通过内核系统调用来实现的，内核知道机器上所有进程中发生的所有事情，所以内核几乎是可观测性的最佳观测点，这也是我们为什么选择 eBPF 的原因。另一个在内核上做监测的好处是应用不需要变更，也不需要重新编译内核，做到了真正意义上的无侵入。当集群里有几十上百个应用的时候，无侵入的解决方案会帮上大忙。但作为新技术，人们对 eBPF 也存在些许担忧，比如安全性与探针性能。为了充分保证内核运行时的安全性，eBPF 代码进行了诸多限制，如最大堆栈空间当前为 512、最...阅读全文
目前非常流行的RDBMS PostgresSQL已经在几周前发布了它的第10个版本。由于Postgres的可靠性、节约成本、成熟，当然还有它的开源，已经21岁的Postgres在开发者之中仍旧非常流行。 Postgres 10带来了一些新特性，其中一些特性另开发者感到十分兴奋。10Clouds在博客中详细介绍了其中的一些特性。通过消除主表（master table）中触发器（trigger）的需求，本地分区（native partitioning）现在变得更简单了。这意味着创建分区表将变得更简单，并且从开发者的角度来看，现在从分区数据表中进行查询和插入与在非分区的数据表进行这些操作是完全一致的。 多列统计（multicolumn statistics）是Postgres 10的另一项改进...阅读全文
英特尔刚刚发布了迄今为止最为密集的 SSD 产品，它就是面向数据中心应用的 P4500 。为了将 32TB 的容量纳入单块 SSD，尽管其身材依然纤薄（宽高 1.5×0.3 英寸 / 3.8×0.8 厘米），但长度已经达到了丧心病狂的 12 英寸（30.5 厘米）。存储颗粒方面，其选用了 64 层堆叠的 3D NAND 架构。不过英特尔表示，它只需一半的气流，即可满足运行时的散热需求。 Intel P4500 是当前最密集的 SSD，将 32TB 容量纳入 12 英寸“标尺”外形。32 组 P4500 SSD 可纳入一个标准服务器插槽，总容量达到 1PB（1024TB）。 这些 3D NAND SSD 的功耗只有 1PB SATA 机械硬盘的 10%，空间占用更是只有 5% 。对于 IBM...阅读全文
式（如基于 HTTP 路径的路由和流量转移）提高了可靠性。 点此了解更多 。Mesh 网关 。Mesh 网关是网络边缘的 Envoy 代理，让独立网络环境中的服务能够轻松地相互通信。它们由 Consul 使用类似机制作为 Sidecar Proxy 的配置。点此了解更多 。意图 & CA 复制。 这些功能实现了在 Consul 逻辑数据中心之间进行连接服务，并且是 Mesh 网关的重要构建部分。请注意，此功能以前属于 Consul 企业版的功能。 另请注意，此版本中已完全删除了在 1.3.0 中被弃用的托管代理功能（managed proxies）。 详细更新内容请查看 Consul 1.6.0 Beta 版的发布公告 或 更新日志 。...阅读全文
!版权声明：本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 目录[-] 参考地址： Nacos 官方文档 系统环境： Nacos 版本：1.4.1 Mysql 版本：8.0.19 Kubernetes 版本：1.20.1 项目示例地址： Kubernetes 中部署 Nacos 的部署文件 Kubernetes 中部署 Mysql 数据库部署文件 如果该文章对你有帮助，别忘了 Github 帮忙点颗星哦~ 一、什么是 Nacos Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。 Nacos 支持如下核心特...阅读全文
早在 Ubuntu 诞生之前，作为完全由自有软件组成的类 UNIX 操作系统 Debian 凭借着惊人的软件数量、高度集成的软件包、良好的安全等特性成为 Linux 领域的佼佼者。不过如今看来，Debian 的流行度开始大大减弱。 日前，维护 Debian 包近 10 年的开发者 Michael Stapelberg 发文表示，要在维护的 Debian 包中删除自己的姓名，并让这些包自生自灭，彻底放手 Debian，而这究竟是何原因使得 Debian 惨遭嫌弃？ 作者 | Michael Stapelberg 译者 | 弯月 责编 | 屠敏 出品 | CSDN（ID：CSDNNews） 以下为译文： 这篇文章我写得十分艰难，一来是感情上的纠结，二来是我没有时间。因此，在阅读本文时请注意，我...阅读全文
。 SSD则是外部存储，用来长久保存数据，属于非易失性存储，断电后数据还在，但是相对速度慢、延迟高，HDD机械硬盘、U盘、光盘等也是此类。 SSD的存储介质是NAND闪存颗粒，需要施加不同的电压、改变内部状态来存储数据，随着时间的流逝、读写次数的增加，会出现物理性的损耗，最终不可用。 NAND闪存的寿命一般用P/E编程擦写次数来描述，写满一次容量就损失一次P/E。 SLC大约是10万次，MLC只有5000次左右，TLC就只大概2000次，QLC仅为1000次上下，所以不得不依靠更多管理技术和算法来辅助，以保持寿命。 但另一方面，SLC、MLC、TLC、QLC的存储密度越来越大，SSD容量也越来越大，写满的概率越来越低，所以整个SSD的实际寿命其实并没有大大缩短，一般应用无需过分担忧寿命问题。...阅读全文
态。这时，虽然 Java 能够对外提供服务，但服务质量较差，如果该阶段的用户并发较高，那么就会造成服务质量降级乃至服务崩溃。 为了优化这一过程，通常的工业实践会在 Java 启动后引入 " 预热 "(warmup) 步骤，通过人为导入数据来让应用提前加热。在预热完成之前，用户请求通过网络控制不让它发送到 Java 进程，在预热完成之后才打开流量限制让 Java 真正提供服务。这个做法可以部分缓解上述问题，但是该方案在很多场景下会有一些局限性，在很多情况下，获取一份高质量的预热数据是很困难的。而预热数据的正确性直接影响预热效果，与实际情况相符的数据可以提高编译质量，如果不一致，有时反而会造成反面效果，比如一种常见的情况是预热时漏掉重要方法调用。更糟糕的情况是由于和实际情况不一致，导致 JVM...阅读全文
它基于Synopsys广受好评的DesignWare IP PCIe 5.0方案，完整支持PCIe 6.0标准特性，包括64GT/s PAM-4信号调制、FLIT模式、L0p低功耗模式等等，可满足HPC高性能计算、AI、存储SoC等应用领域对于延迟、带宽、能效的各种需求。为了实现吞吐量的最大化、延迟的最小化，Synopsys PCIe 6.0控制器采用了“MultiStream”(多流)架构，性能可达单流架构的最高2倍，并且还有1024-bit宽度架构，可以在关闭1GHz时序的同时，达到64GT/s x16的高带宽，还优化了多数据源、多虚拟通道环境。此外，新方案使用了独特的自适应DSP算法，支持早期SoC开发，优化模拟和数字均衡，无论何种通道下都能获得最佳能效，并且基于专利诊断功能，可确保...阅读全文
否落入加州CCPA管辖。 2.3 小结 相比而言，GDPR的管辖较广泛，管辖逻辑复杂，只要与欧盟、欧盟居民、向欧盟输出产品服务或监控欧盟个人等因素相关，即大概率落入GDPR管辖范围。 相反，CCPA管辖逻辑简明，聚焦于管辖“以营利目的处理个人信息的企业”，为被管辖实体设置了“年收入金额门槛”和“消费者、家庭和设备数量门槛”，注重对于风险影响程度和范围较大的实体进行管辖，执法的针对性就更强。 3. 数据跨境传输管控：GDPR环环相扣严格限制，CCPA无明确规定 3.1 GDPR对跨境传输的授权与限制——五道“关口” GDPR对数据跨境传输到欧盟境外的情况规定了较为严格的条件。从立法价值取向上，通过以下“五步走”的方式[11]，GDPR就为数据流出欧洲经济区（EEA）设置了层层关口，且GDPR给...阅读全文
大家详细介绍CET，以及推出它的全球知名数字资产交易服务商CoinEx。 CET（CoinEx Token）诞生于2018年1月，是 CoinEx业务生态内的用户增值服务权益体系，最开始 CET 基于 Ethereum ERC20 协议发行。CoinEx业务生态内的用户增值服务权益体系，CET价值远不止这些。CET可以在多种场景下流通并使用。CET的核心价值包括并不限于： ** 1、长期回购销毁 ** CoinEx每天自动将平台手续费收入的50%用于回购CET，并在每个自然季度结束时将当季回购的CET全部销毁，直至CET总量减至30亿。CET总量减至30亿后，CoinEx将继续把平台手续费收入的20%用于回购并销毁CET，直至CET全部销毁。 ** 2、优惠抵扣平台交易费 ** CoinEx...阅读全文
。它使用其他输入流（例如容器运行时度量标准和Kubernetes度量标准）丰富了收集的数据，并允许连续监视和检测容器，应用程序，主机和网络活动。 5：Katran Katran是一个C ++库和eBPF程序，用于构建高性能的第4层负载平衡转发平面。 Katran利用Linux内核中的XDP基础结构来提供用于快速数据包处理的内核功能。它的性能与NIC接收队列的数量成线性比例，并且使用RSS友好的封装转发到L7负载平衡器。 6：Sysdig Sysdig是提供深层系统可见性的简单工具，并具有对容器的原生支持。 其他基于eBPF技术的项目还有很多，比如kubectl-trace ，ply 等，这里不再赘述。 如何编写一个eBPF程序？ 在很多情况下，不是直接使用eBPF，而是通过Cilium，bcc...阅读全文
产者如果重启则会生成新的PID。 Sequence Number：对于每个 PID，该 Producer 发送到每个 Partition 的数据都有对应的序列号，这些序列号是从0开始单调递增的。 2.1.9 kafka的事务 Kafka的事务不同于Rocketmq，Rocketmq是保障本地事务(比如数据库)与mq消息发送的事务一致性，Kafka的事务主要是保障一次发送多条消息的事务一致性(要么同时成功要么同时失败)，一般在kafka的流式计算场景用得多一点，比如，kafka需要对一个topic里的消息做不同的流式计算处理，处理完分别发到不同的topic里，这些topic分别被不同的下游系统消费(比如hbase，redis，es等)，这种我们肯定希望系统发送到多个topic的数据保持事务一致...阅读全文
对于 Python 开发者来说，web 开发框架真可谓玲琅满目。然而 Django , 毋庸置疑的成为最受青睐的 web 框架。通过本篇博客，我来为大家讲解下为什么相比 Flask、Pyramid、Tornado、Bottle、Diesel、Pecan、Falcon 这些流行的 Python web 框架，Python 开发者更倾向于选择 Django。 再大肆宣扬Django之前，让我们简单了解一下web框架 Web框架是一个代码库，使开发人员更容易构建动态网站、Web应用程序和Web服务。 众所周知的是，每个网站都有一些通用的功能（如处理会话，数据验证等等），一些您每次创建网站时都需要编写的功能。 这使开发任务平淡乏味。 然而，使用Web框架可以让您每次创建网站都需要重新编写通用功能代...阅读全文
802.11ac是当今最流行的Wi-Fi无线标准，不过，为了提高速度、吞吐量、降低功耗，IEEE 802.11ax/ad/ay先后应运而生。其中802.11ax是对ac/n的自然演进，同样工作在2.4/5GHz频段上，而ad/ay则是作为辅助技术，由于工作频段极高，没有干扰，所以速率可以非常高。比如基于60GHz的802.11ad可以达到8Gbps的数据传输率，如今TP-Link Talon AD7200路由、戴尔E74450/7470笔记本、Windows 10创作者更新都将支持。 据悉，目前的最新进展是，第一个修订版802.11ay（verison 0.2）标准已经认证完毕，目标速率高达176Gbps，也就是22GB/s，理论上说蓝光电影可以1秒下完。不过，你的电脑硬盘肯定是跟不上，即...阅读全文
query using _interval_ms variable throws error #14507 而 Grafana 在 6.0 版本的主要新特性有： Explore – 一个新的查询，专注于数据探索和故障排除的工作流程。Grafana Loki – 与 Grafana Labs 的新开源日志聚合系统集成。Gauge Panel – 一个新的独立仪表板。New Panel Editor UX 改进面板编辑，在不同可视化间的切换变得容易。Google Stackdriver Datasource 已经退出测试，并正式发布。Azure Monitor 插件从外部插件移植到核心数据源。React Plugin 支持（React Plugin support）为构建插件提供了更简单的方式...阅读全文
DDR4 内存目前还是绝对主流，不断被深入挖潜，频率已经突破 5GHz，不过下一代 DDR5 也已经蠢蠢欲动了。Cadence 公司今天就宣布了 DDR5 的全新进展，无论工艺还是频率都相当领先。 目前，JEDEC 标准组织正在研究 DDR5 内存规范，已经有了初步版本，Cadence 此番拿出的就是面向新规范的第一个 DDR5 IP物理层接口芯片。 该测试芯片采用台积电7nm工艺制造，数据率可达4400MT/s，也就是频率高达4400MHz，相比目前商用最快的DDR4-3200快了多达37.5％。 为了支持Cadence DDR5 PHY物理层的验证和协作，美光也向其提供了DDR5内存初步版本的工程原型。 在此之前，Rambus也曾经提到过7nm工艺下的DDR5 IP，并预计DDR5内存...阅读全文
virpus是一家成立很久的美国vps主机商，本次黑五活动，算是相当给力了。采用xen虚拟架构技术，数据中心为西雅图，国内速度还是很优秀和稳定的，硬盘为hdd+ssd缓存，带宽为1Gbps上行；折扣为3折，非常给力。 优惠码：BLACKFRIDAY2017 黑五专属折扣，算是很有性价比了，机会不容错过。支持Paypal、MasterCard、比特币支付。 优惠方案 核心：4核CPU 内存：1GB 硬盘：50GB 流量：1.5TB 端口：1Gbps 架构：Xen 价格：$1.50/month 传送：购买链接 https://my.virpus.com/cart.php?a=confproduct&i=0 官网链接 https://www.virpus.com/...阅读全文
LRU（最近最少使用）缓存。 31. 处理流量高峰：实现自动扩展以动态管理资源 32. 审计跟踪 — 考虑使用数据湖 33. 处理高并发连接 — 使用连接池并考虑使用 Protobuf 来最小化数据 ...阅读全文
什么是 Calico ？Calico 是一套开源的网络和网络安全方案，用于容器、虚拟机、宿主机之前的网络连接，可以用在kubernetes、OpenShift、DockerEE、OpenStrack等PaaS或IaaS平台上。Calico 组件概述Felix：calico的核心组件，运行在每个节点上。主要的功能有接口管理、路由规则、ACL规则和状态报告接口管理：Felix为内核编写一些接口信息，以便让内核能正确的处理主机endpoint的流量。特别是主机之间的ARP请求和处理ip转发。路由规则：Felix负责主机之间路由信息写到linux内核的FIB（Forwarding Information Base）转发信息库，保证数据包可以在主机之间相互转发。ACL规则：Felix负责将ACL策略...阅读全文
部局域网的 IP 地址。 CentOS 下保存规则1sudo service iptables save Debian & Ubuntu 下 保存规则：123sudo apt install iptables-persistent -ysudo netfilter-persistent savesudo netfilter-persistent start至此，利用 iptables 设置中转的方法介绍完毕。另可根据使用场景，对目标机的防火墙进行配置，令其只接受来自此 NAT VPS 的流量。 使用 socat 进行中转如所需转发的端口数量较少，则个人推荐使用此方法。首先安装 socat，此处以 Debian & Ubuntu 系统为例：1sudo apt install socat配置进行...阅读全文
误数：如 HTTP 500 错误。当然，有些即便是 HTTP 200 状态也需要根据特定业务逻辑来区分当前请求是否属于“错误”请求。 饱和度：类似服务器硬件资源如CPU,内存,网络的使用率等等。 所以，我们决定使用 Micrometer 库来对各个组件进行吞吐量，延迟和错误率的埋点，从而对 DB 类，RPC类的组件做性能监控。因此也可以说，我们第二阶段的监控是以指标监控为主，调用链监控为辅的应用性能监控。 3.1 使用 Endpoint 贯穿指标埋点帮助性能分析 在指标埋点过程中，我们在所有的指标中引入了“流量入口（Endpoint）”标签。这个标签的引入，实现了根据不同流量入口来区分关联 DB，缓存，消息队列，远程调用类的行为。通过流量入口，贯穿了一个实例的所有组件指标，基本满足了以下场景...阅读全文
