第180章 成功上线(1/2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
灰度发布定在周一上午十点。
这是林晨和王皓商量之后定下的时间点。理由很简单——周一是流量最低谷,即使出问题,影响面最小。等过了前三天的低流量灰度,周四开始的10%放量阶段正好赶上流量上升期,能更好地观察模型在高并发下的表现。
整个周末,林晨都在反复检查上线方案。十二项检查清单,他逐条过了一遍,又逐条过了一遍,像考试前反复默写公式的高中生。苏婉看他坐在书桌前对着电脑皱眉头,端了一杯热水放在旁边:放轻松,你已经准备得够充分了。
不是紧张,林晨抬头看着她,是谨慎。上线这种事,准备得再充分都不为过。
苏婉笑了笑没说话,去客厅陪乐乐搭积木了。
周一早上八点,林晨到公司的时候,张明远和陆小溪已经在了。三个人围在林晨工位旁边,像出征前的士兵做最后的检查。
模型包已经部署到预发环境,陆小溪看着她的屏幕,容器化方案跑了两轮预检,没有问题。流量切分逻辑已经配置好了,5%灰度组的用户标签已经生成。
归因指标的离线评估管道已经就绪,张明远接着说,每天凌晨两点跑批,早上出结果。
监控面板呢?林晨问。
陆小溪点开一个链接,监控大屏上密密麻麻排列着各种指标曲线——CTR、CVR、人均时长、留存率、推理延迟、QPS、错误率。每个指标旁边都标着阈值和告警线,任何指标越界就会触发企业微信告警。
王皓昨晚帮忙检查了一遍监控面板配置,陆小溪补充,他说工程侧没问题,随时可以开始。
林晨看了一眼时间,九点四十五分。
我去跟王皓确认最后一遍。他站起来,走向王皓的工位。
王皓正对着屏幕喝咖啡,看到林晨过来,放下杯子:准备好了?
准备好了。林晨把上线方案的最终版递过去,灰度5%流量,初始观察期三天。监控面板已经上线,告警阈值按陈博要求配置。回滚预案两个方案都就绪,旧模型包已保留在线上。
王皓接过方案扫了一眼,然后看着林晨:有个事情提前跟你说——灰度期间如果出问题,你来决定是否回滚。这是你第一次负责上线,但也是你第一次独立做决策。
林晨点头:明白。
不过,王皓的语气缓和了一些,如果你拿不准,随时找我或者陈博。上线决策不是一个人的事,尤其是在T厂,出了问题影响的是整个业务线。
收到。
九点五十五分,三个人回到工位。林晨坐下来,打开集群管理终端,手指放在键盘上。
灰度开始前,最后确认。他看了一眼旁边的张明远和陆小溪,两人都点了头。
十点整。
林晨在终端里输入命令,按下回车。
[INFO]Gradualrolloutstarted:experint_id=transparent_distill_v1
[INFO]Trafficallocation:trol=95%,experint=5%
[INFO]Modelloaded:transparent_distill_student_v1.0
[INFO]Rolloutstat:ACTIVE
灰度开始了。
他盯着监控面板,CTR曲线在正常波动,推理延迟稳定在12毫秒左右,QPS平稳,错误率为零。五分钟过去,十分钟过去,半个小时过去——所有指标都在预期范围内。
第一轮检查通过,陆小溪看着她的屏幕,5%灰度组的行为分布跟对照组没有显着差异。
林晨没有放松,继续观察。
上午十一点半,第一轮数据采样出来了。CTR比对照组提升了1.9个百分点——比离线测试的1.5个百分点还高,线上实际效果超出了离线预期。
张明远跑完归因指标评估,走到林晨旁边:归因一致性线上采样是0.7741,比离线的0.7823略有下降,但在合理范围内。归因稳定性线上采样是0.7802,同样符合预期。
林晨在心里默默计算——离线到线上的衰减率大约是1%到2%,跟陈博士预估的一致。一切正常。
中午,三个人在工位吃了外卖。林晨一边吃一边盯着监控面板,每隔几分钟刷新一次数据。
你不用一直盯着看,陆小溪说,告警系统会自动通知的。
我知道,林晨放下筷子,但第一天上线,不盯着我心里不踏实。
下午两点,灰度运行四个小时了。所有指标依然平稳,没有异常波动。林晨终于从监控面板前挪开视线,开始整理第一天的灰度报告。
报告里,他把每一项指标都详细记录了下来:业务指标的变化、模型指标的对比、系统指标的稳定性。然后在报告最后写了一行总结:
第一天灰度结论:所有指标正常,符合预期。建议按计划进入5%灰度的持续观察期。
他把报告发到了项目群和上线审批群里,然后给陈博士单独发了一份。
陈博士的回复只有一个字:
这个字,林晨读出了两层意思:一是确认他看了,二是暗示他不打算在中间干预——这是林晨的项目,林晨的决策,林晨的担子。
本章未完,点击下一页继续阅读。