置之死地而后生，面向失败的架构设计

搜一下“宕机”&＃xff0c;就能看到很多系统问题导致的服务不可用新闻&＃xff0c;当然&＃xff0c;这其中包括多种原因&＃xff0c;例如系统恶化&＃xff0c;流量超出预期&＃xff0c;外部DDoS攻击&＃xff0c;数据库问题&＃xff0c;架构设计问题等等。&＃xfeff;

所以&＃xff0c;就有了“面向失败而设计的架构”&＃xff0c;有点类似于《史记·淮阴侯列传》&＃xff1a;“‘陷之死地而后生&＃xff0c;置之亡地而后存。’……其势非置之死地&＃xff0c;使人人自为战”的意味。其初衷是以“失败”为对象&＃xff0c;设想可能存在各种失败原因的设计思想&＃xff0c;在系统设计阶段就考虑到各种失败场景&＃xff0c;把失败当成是设计的一部分&＃xff0c;未雨绸缪&＃xff0c;利用积极的心态提前规划好从失败中恢复的策略。

在架构设计方面&＃xff0c;通过面向失败的设计&＃xff0c;贯穿整个软件生命周期来防范已知的确定性风险及未知的不确定性风险。阿里巴巴在2012年开始积累这方面的经验&＃xff0c;有成熟的方案来支持每年的双11&＃xff0c;从容应对各种挑战。整个方案包括“容灾设计、架构设计、预案、自动化运维、智能监控等”。以下是阿里技术团队总结出来的几个阶段各个原则。

架构设计阶段

简单化设计原则

系统架构简单清晰&＃xff0c;具备水平扩展能力 。与之相反的就是过度设计&＃xff0c;如何更好的平衡必要复杂度与意外复杂度是关键。“不是在不能添加更多的时候&＃xff0c;而是没有什么可以去掉的时候&＃xff0c;才能达到完美”。

监控设计原则

监控系统架构及监控规则应该是简单的&＃xff0c;易于理解的。监控项覆盖度高&＃xff0c;需要控制好有效报警数&＃xff0c;监控围绕四大黄金指标&＃xff1a;延迟&＃xff0c;流量&＃xff0c;错误&＃xff0c;饱和度展开。

管控设计原则

需避免权限过大&＃xff0c;系统应具备逃生能力&＃xff0c;灰度能力。线上很多p1级故障发生&＃xff0c;都是因为权限过大或者不具备灰度能力导致的。管控系统作为服务提供方&＃xff0c;理应当对自身行为带来的危害负责&＃xff0c;需要具备自保护能力。

开发发布阶段

敏捷设计原则

敏捷开发&＃xff0c;小规模&＃xff0c;多批次迭代。敏捷开发对面向失败设计来说可以有效预防&＃xff0c;降低故障发生&＃xff0c;同时能够快速定位及恢复故障。

变更设计原则

可灰度&＃xff0c;可监控&＃xff0c;可回滚。无论系统发布还是配置项的改动&＃xff0c;都需要遵从变更三板斧。线上60%故障是由于变更发布导致的&＃xff0c;渐进式发布&＃xff0c;快速准确检测到问题&＃xff0c;同时快速回滚是非常必要的。

运行运维阶段

容量设计原则

基于稳态容量及尖刺容量规划&＃xff0c;适当冗余&＃xff0c;具备快速弹性扩容能力。通过自然需求增长模型来预测稳态容量&＃xff0c;通过适当冗余&＃xff0c;流控&＃xff0c;快速弹性扩容能力保障非自然需求增长。同时做好周期性压力测试。

依赖设计原则

最小化依赖&＃xff0c;避免循环依赖&＃xff0c;通过异步化&＃xff0c;服务降级&＃xff0c;限流&＃xff0c;隔离等手段控制由于依赖带来的影响面。上下游依赖需要建立基于接口&＃xff0c;服务&＃xff0c;应用等级别的SLO&＃xff0c;了解更多上下游信息&＃xff0c;做好防护手段。

自动化设计原则

对重复&＃xff0c;人肉的操作尽可能通过自动化来保障操作一致性&＃xff0c;提升效率。

快恢设计原则

标准化的故障恢复流程&＃xff0c; 从故障被监控发现开始&＃xff0c;人员上线响应&＃xff0c;故障定位 &＃xff0c;恢复等一系列流程是人与系统共同参与的活动。从人的角度需要具备oncall能力&＃xff0c;快速上线能力&＃xff0c;快速登录系统定位处理问题能力&＃xff0c;系统需要具备快速报警&＃xff0c;回滚&＃xff0c;隔离&＃xff0c;容灾等能力。

在2020年12月20-21日QCon全球软件开发大会&＃xff08;上海站&＃xff09;&＃xff0c;来自阿里的高级技术专家隐寒&＃xff0c;多年从事高可用领域相关的工作&＃xff0c;将会分享“面向失败的架构设计核心思想和实践”话题&＃xff0c;介绍如何时刻关注系统的可用性&＃xff0c;提前预防甚至解除风险&＃xff0c;做到系统的持续可用。本专题下还有其他大厂的技术分享&＃xff0c;感兴趣的可以关注下&＃xff1a;&＃xfeff;

目前大会门票9折抢购中&＃xff0c;限时立减680元&＃xff01;优惠截至12月20日。了解大会议程和演讲嘉宾可以扫描下图二维码或点击【阅读原文】查看&＃xff01;大会咨询&＃xff1a;17310043226&＃xff08;同微信&＃xff09;

免费福利

????点击查看大会日程