今年的“双11”无惊无险，每日优鲜的运维团队是怎么做到的？

今年&＃xff0c;美国知名项目管理研究杂志PM Network将“天猫双11”与互联网、阿波罗登月、人类基因组计划等并列&＃xff0c;共称为世界上TOP50最有影响力的项目。“双11”不仅改变了人们购物的方式&＃xff0c;而且打通了商业与娱乐。

因为可以带来数倍于平常的流量和销售额&＃xff0c;所以每年的“双11”到来时&＃xff0c;各路零售商们都会“如临大敌”,严阵以待。在极限高并发访问的情况下&＃xff0c;在线交易系统、支付系统等能否经受得住考验呢&＃xff1f;

每日优鲜运维总监周锋在分享经验

最初几年&＃xff0c;因为对“剁手党们”在“双11”期间的购买程度估计不足&＃xff0c;曾经出现过个别商家的系统不堪重负而宕机的情况。近几年 “双11”期间这种系统宕机的新闻越来越少&＃xff0c;因为各商家在“双11”到来前已经做好了充足的准备。被誉为“最懂吃货心的电商”——每日优鲜&＃xff0c;在今年的“双11”到来前差不多两个月就开始了各项准备工作&＃xff0c;所以真正在“双11”期间&＃xff0c;其业务系统没有出现任何问题&＃xff0c;安然度过。在UCloud于11月23日举行的UClub新零售技术沙龙上&＃xff0c;每日优鲜运维总监周锋用8个字概括了他今年的“双11”体验&＃xff1a;无惊无险&＃xff0c;风平浪静。

01

外松内紧&＃xff0c;不打无准备之仗

真的是无惊无险&＃xff0c;风平浪静吗&＃xff1f;其实&＃xff0c;正是因为每日优鲜公司高层的充分重视&＃xff0c;运维、研发、业务等各个部门协调一致&＃xff0c;以及云服务商UCloud的支持&＃xff0c;每日优鲜在面对“双11”这场大考时才会气定神闲。

或许&＃xff0c;用“外松内紧”四个字来形容每日优鲜备战“双11”会更恰当。俗话说&＃xff0c;兵马未动&＃xff0c;粮草先行&＃xff0c;为了从容应对“双11”&＃xff0c;资源准备必须先行。最近两年&＃xff0c;每日优鲜都是按照周六日交易峰值的4倍为“双11”设定余量。为了消除不同区域在不同时间段的交易峰值&＃xff0c;运维团队还要时刻准备着&＃xff0c;根据实时交易情况削峰填谷。

从9月20到10月31日&＃xff0c;每日优鲜针对“双11”期间可能出现的各种情况和需求&＃xff0c;从业务运营、架构运营、系统运营等多个维度进行了全面梳理&＃xff0c;并针对可能会出现瓶颈的地方进行了详细了解&＃xff0c;准备预案&＃xff0c;尤其是进行了一系列高强度、全方位的压力测试。据周锋介绍&＃xff0c;从9月20日起&＃xff0c;每隔三天就会进行一次大的压测&＃xff0c;而且每天都会有小压测&＃xff0c;包括全链路的压测、写压测&＃xff0c;以及故障演练、第三方服务出现问题后的应对等。因为做好了全面的准备工作&＃xff0c;所以今年“双11”到来时&＃xff0c;每日优鲜上上下下心里非常有底。

“双11”活动期间&＃xff0c;每日优鲜特意在北京总部大楼的11层设立了作战室&＃xff0c;从总指挥到研发团队的架构师、所有运维人员&＃xff0c;以及运营、技术和产品的对接人&＃xff0c;从早上8点就全部到岗&＃xff0c;一份分工明细的保障时间表&＃xff0c;不仅包括所有一线参战人员和备战人员&＃xff0c;而且按照每个小时分批次排定工作内容&＃xff0c;在办公室的、在路上的、在各个分支构的人员&＃xff0c;都遵照既定的节奏&＃xff0c;有条不紊地处理自己手中的工作。

因为每日优鲜的IT系统100%托管在公有云平台上&＃xff0c;所以每日优鲜的“双11”之战&＃xff0c;也有云服务商UCloud紧密配合与协作。除了充足资源的准备&＃xff0c;UCloud协助将每日优鲜云资源打散&＃xff0c;避免业务过于集中承载而出现问题&＃xff1b;同时将一些历史的监控数据、风险分析和评估数据给到每日优鲜作为参考&＃xff0c;双方共同研判在“双11”期间可能会出现哪些意外状况和风险&＃xff0c;提前进行优化、迁移、加固等工作&＃xff0c;以降低风险。此外UCloud还派专人提供驻场服务&＃xff0c;确保在问题发生时能够第一时间响应和解决。

 “在今年之前&＃xff0c;每次‘双11’来临时&＃xff0c;我们都会比较紧张&＃xff0c;整个过程中会消耗大量人力物力资源&＃xff0c;感觉身心比较疲惫。”周锋坦言&＃xff0c;“但是今年有很大不同&＃xff0c;‘双11’技术保障再次升级&＃xff0c;公司内部各业务部门之间充分沟通和配合&＃xff0c;提前做好准备&＃xff0c;为所有工作设定优先级&＃xff0c;并确定每项工作的深度&＃xff0c;归纳出方法论。正因为如此&＃xff0c;今年的‘双11’保障工作才会游刃有余。”

02

背后的技术准备

每年的“5·17”“6·18”“双11”“双12”&＃xff0c;再加上商家的店庆&＃xff0c;还有各种各样的节假日&＃xff0c;现在的大促似乎变成了常态。这些促销日对“剁手党”来说是一场场的狂欢&＃xff0c;而对于商家的IT运维团队来说则是一场又一场不能有丝毫松懈的战斗&＃xff0c;会耗费大量精力和体力。

在大促前的准备阶段&＃xff0c;IT运维团队要根据业务部门提出的要求&＃xff0c;比如要做多少波秒杀、发多少张券等&＃xff0c;研究如何分配现有资源&＃xff0c;是否需要扩容并且扩多少&＃xff0c;最大流量洪峰可能出现在何时&＃xff0c;如何针对复杂架构实现统一监控&＃xff0c;以及如何快速定位问题并顺利解决。

商家平时的销售和一般的促销活动&＃xff0c;用户访问量通常是线性的或可以预测的。而像“双11”这样的大促&＃xff0c;通常流量是很难提前预估的。另外&＃xff0c;为了达到预定的业绩目标&＃xff0c;业务部门可能会在某一关键时间点上临时抛出一个新的营销手段&＃xff0c;比如在晚上11点发出一波红包&＃xff0c;这时可有会引发瞬间流量激增。这些临时出现的情况&＃xff0c;随意性大&＃xff0c;很可能导致技术瓶颈出现&＃xff0c;所以作为IT运维人员&＃xff0c;必须和业务部门保持密沟通&＃xff0c;确保在几分钟内解决问题。

“瓶颈总是存在的&＃xff0c;这就需要不同的部门之间相互磨合&＃xff0c;及时沟通&＃xff0c;才能在瓶颈出现前&＃xff0c;消峰填谷&＃xff0c;及时化解。”周锋表示。

在“双11”之前&＃xff0c;UCloud对每日优鲜的运营活动计划有了充分了解&＃xff0c;提前优化IT架构的承载能力&＃xff0c;这是应对瞬时高并发流量的前提条件。从9月20日开始&＃xff0c;每日优鲜的运维部门召集运营部门一起梳理促销活动指标&＃xff0c;预估发券、流量等数据。每日优鲜的运维团队负责把这些“业务语言”翻译成“技术语言”&＃xff0c;如哪些代码、模块、服务、系统需要特别关注或者优化&＃xff0c;然后再由云服务商UCloud将其翻译成“云端资源语言”&＃xff0c;比如需要扩容多少云主机、多大带宽、负载均衡&＃xff0c;以及交付节奏等&＃xff0c;从而保证在“双11”期间&＃xff0c;一切交易尽在掌握。

每日优鲜2019“双11”战报

每日优鲜发布的今年“双11”的战报显示&＃xff1a;销售额为去年同期的2.7倍&＃xff0c;最快的一笔订单配送到用户仅用时5分51秒&＃xff0c;刷新了纪录&＃xff0c;而运维部门的零故障完美地支撑了业务的“巅峰时刻”。

03

当“双11”成了“新常态”

无论是从知名度、影响力&＃xff0c;还是带来的流量、销售额来看&＃xff0c;其他的促销活动还不可能与“双11”相提并论。所以&＃xff0c;每年的“双11”&＃xff0c;每日优鲜都会提前做好一切准备措施&＃xff0c;但紧张的运维工作也会让周锋和他的团队一度“忙到跳脚”。

从长远来看&＃xff0c;各种促销会变成“新常态”&＃xff0c;而每日优鲜通过像“双11”这样的大促&＃xff0c;可以不断积累经验&＃xff0c;并形成一套涵盖技术、流程和管理的方法论&＃xff0c;使之标准化、自动化&＃xff0c;并可在每个促销活动时复制&＃xff0c;尽量采用标准化、自动化的流程、配置&＃xff0c;减少人为参与的环节&＃xff0c;这样不仅可以提高效率&＃xff0c;而且减轻了运维等团队的工作负担。这对周锋和他的团队来说又是一个新课题。

长按二维码识别关注云报

云报

小编微信&＃xff1a;Taogebj

联系邮箱&＃xff1a;15327768&＃64;qq.com