最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。 这里分享一下最近发生在我公司的事故，以及如何避免，并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys * 命令引起的，一共造成了某个服务化项目的两次宕机。 间接原因还有很多，技术跟不上业务的发展，由每日百万量到千万级是一个大的跨进，公司对于系统优化的处理优先级不高，技术开发人手的短缺。 第一次宕机 2018年9月13日的某个点，公司某服务化项目的 RDS 数据库实例连接飙升，CPU 升到 100%，拒绝了其他应用的所有请求服务。 整个过程如下： 监控报警，显示RDS的CPU使用率达到80%以上，DBA介入，准备KILL慢SQL 1分钟内，没有发现明显阻塞的SQL...阅读全文
来分享一下他打造 Debian 的那段历程。 Murdock 第一次接触到 GNU/Linux 是在 1993 年，当时他还是个 20 岁的学生，在普渡大学学习会计学。「那个年代，PC 才刚刚发展到勉强能运行 Unix 操作系统。我当时用的就是 Unix，那时候我觉得 Linux 是能让我更方便地使用 Unix 的一种方式。」用 Murdock 的话来说，当时的软件「完成度还相对粗糙」，但完善、改良软件对他来说也是一种兴趣爱好。 「Linux 最棒的地方之一就是它是第一批你不仅能看到它在干嘛，你还能亲自尝试着对它本身做尝试、做改动的操作系统。」 Murdock 开始研究的时候，GNU/Linux 的发行版还很少。Murdok 当时选择的是 SLS，Softlanding Linux...阅读全文
的并满足以下一个或多个条件[9]： （a) 年度总收入超过2,500万美元； （b) 每年独自或与他人联合，为商业目的购买、出售、分享不少于50,000个消费者、家庭或设备的个人信息； （c) 有不少于50%的年收入来自于出售消费者个人信息；或 （d) 是处理个人信息的服务供应商。 其中，“加州消费者”的定义参照加州税法的规定。该法规定“居民”包括“以非临时目的居住在加州境内的自然人”以及“以临时目的居住在加州境外的加州居民”。[10] 与GDPR不同的是，CCPA明文指出了不受CCPA管辖的情况——即如果企业的商业行为每个方面完全在加州以外进行，则不受CCPA的管辖。 这里的“商业行为每个方面”，包括“消费者所在地”、“个人信息出售行为发生地”等方面。我们应针对这些方面对个案综合判断企业是...阅读全文
希望到时候会有比它更好的东西出现，不断突破创新很重要。在他看来，AI可以帮助人类创造出前所未有的新应用，这将是人类的巨大的进步和胜利，是真正的科技革命。 从大模型的商业化机会、AI+应用再到AI发展方向，Sam Altman在这场对话中分享了自己的见解。以下为对话内容，由OneFlow社区编译。 1 大模型的商业机会 Reid Hoffman：很多大型模型都通过API开放使用，能够衍生什么商业化机会？ Sam Altman：现在，语言模型已经可以很好地应用到文案写作和教育服务领域，我相信未来几年内，语言模型会更加强大，将能与Google这一价值万亿美元的搜索产品一较高下。语言模型的应用将会改变我们的日常生活。 以前，大家都在调侃聊天机器人，其实它很有价值，只是当时的技术还不能满足需求。现在的...阅读全文
这些服务进行交互，这是另一个优势，它可以自动生成需要的所有类。这个生成的代码负责消息建模，并提供一个存根类，其中包含与您的服务端点相关的重复方法调用。 支持多种语言，包括C ++，Java，Python，Go，Ruby，C＃，Node，Android，Objective-C和PHP。但是，使用protobuf文件维护和同步生成的代码是个问题。我们已经能够通过使用Protobuf文件自动生成客户端库来解决这个问题，会在即将发布的下一篇博客文章中分享更多的内容。 gRPC最好的特性之一是支持中间件模式，被称为拦截器。它允许扩展所有的gRPC实现（这对企业来说很重要），能够轻松访问所有请求，从而实现自己的微服务最佳实践。gRPC还内置了对一系列认证机制的支持，包括SSL / TLS。 gRPC社区...阅读全文
，但是他们收取的价格并不低。”数据迁移收费会带来某种不可预测性。比如，美国宇航局在2018年和亚马逊签署了云计算合同，总额6500万美元，为期五年。然而美国监察机构发现，美国宇航局忽略了数据外迁的费用，比如某个用户下载保存在S3的文件，就会产生外迁费。监察机构认为，如果美国宇航局为了缩减成本而对数据外迁费加以限制，可能会影响科学数据的共享。2018年，美国数据存储公司Cloudflare宣布成立“带宽联盟”，这一联盟内的云计算公司和存储服务商都愿意降低或者取消数据外迁费。Cloudflaire首席执行官马修·普林斯（Matthew Prince）介绍说，亚马逊并未参加这一联盟。自从上述联盟建立之后，云计算行业的数据外迁费逐年下降，但是亚马逊在美国和欧洲，依然收取同样的数据外迁费。普林斯表示，亚...阅读全文
自大，烦请检查你的假设，我们并未要求你崇拜我们，事实上，假如你做了力所能及的努力，我们大多将非常乐意平等地与你交流，并欢迎你接纳我们的文化。我们认为试图去帮助那些不愿自助的人是一件没有效率和效果的事情。所以，我们宁愿被称作傲慢，也不去做愚蠢的事[7]。 所以，你无须拥有很高超技术也可以吸引我们的注意，前提是你必须表现出解决此问题的积极态度：热切关注、深入分析、试图努力查找过解决此问题的方法，并且乐意主动参与到解决问题的组织，分享你的想法。如果你做不到使你与众不同，我们建议你付费寻求他人帮助，而不是要求黑客提供无偿的帮助。 如果你决定向我们求助，不想成为一名loser，或者不想被看成一个lose，我们有一个立竿见影的方法：（1）有技术含量地提问，（2）像是一个有智慧有自信和会思考的人那样去提问...阅读全文
术实现了用户态和内核态的内存共享，所以性能好，我前期被这个观点误导了好久，后来下来了linux源码，翻了一下，并没有在epoll中翻到mmap的技术点，所以这个观点是错误的。这些错误观点的文章，国内不少，国外也不少，希望大家能审慎抉择，避免被错误带偏。 所以，epoll高性能的根本就是，其高效的文件描述符处理方式加上颇具特性边的缘触发处理模式，以极少的内核态和用户态的切换，实现了真正意义上的高并发。...阅读全文
开的最大文件描述符数目，默认情况下其会自动进行计算，因此不推荐修改此选项；Linux默认单进程打开文件数为1024个 – user：同uid，但使用的是用户名； – stats：用户访问统计数据的接口 – node：定义当前节点的名称，用于HA场景中多haproxy进程共享同一个IP地址时； – description：当前实例的描述信息； * 性能调整相关的参数 – maxconn
Cluster架构下使用pipelining 支持读写分离，支持读负载均衡，在主从复制和Redis Cluster架构下都可以使用 内建Tomcat Session Manager，为Tomcat 6/7/8提供了会话共享功能 可以与Spring Session集成，实现基于Redis的会话共享 文档较丰富，有中文文档 对于Jedis和Redisson的选择，同样应遵循前述的原理，尽管Jedis比起Redisson有各种各样的不足，但也应该在需要使用Redisson的高级特性时再选用Redisson，避免造成不必要的程序复杂度提升。 Jedis： github：https://github.com/xetorthio/jedis 文档：https://github.com/xetorthio/jedis...阅读全文
个简化的Web应用，由这些部分组成： 为了冗余而在两个集群上运行的二进制文件，实现前段逻辑负载均衡，有集群前和全局的配置全局的Spanner数据库 生产或者服务基础架构提供服务所需的基础模块来服务用户的请求，比如，Borg集群管理系统[2]，网络交换机的firmware等等。每个这些组件都是一个asset。 Shakespeare服务使用多个基础架构提供者：Borg来运行二进制文件，GSLB[1]管理负载均衡，以及Google共享的Spanner基础架构。 控制平面是服务用于管理生产服务基础结构的平面——比如，添加一台VM或者搭建负载均衡器。控制平面可以包括人工（“我会把新的二进制文件拷贝到服务器上”）到复杂的自动化系统（“我使用机器学习来控制变更”）。控制平面包括变更管理：控制平面里的逻辑...阅读全文
