AB测试 · 智能运营功能

关键能力

源自白皮书「智能运营功能 · AB测试」章节

实验管理

新添加的 AB 实验进入调试中；正式开启进入已上线；上线后可临时暂停、手动下线；只有调试中状态才支持对实验任务进行编辑操作。

实验报告

选择一些事件指标作为 A/B 实验的关注指标，可选择业务关心的指标、用户体验相关的指标、实验可能造成负增长的指标等，统计结果呈现在实验报告中。

实验报告

将业务上最关心的指标设置为核心指标，用于计算评价实验效果：会根据核心指标计算统计学指标，并给出结论——实验是否可以结束、哪组胜出。

对比口径

一般来说，对照组为线上的原始策略，实验组为提出的新策略，通过对核心指标的评估，计算对照组、实验组哪一种策略更好。

关键定义与操作集合（源自白皮书，口径可追溯）

状态 / 指标	口径说明
调试中	新添加的 AB 实验状态，支持部署、复制、编辑、上线、删除等操作；只有调试中才可以对 AB 实验任务进行编辑操作。
已上线	正式开启的状态，支持部署、报告、复制、暂停、下线等操作；不支持再次编辑，如果上线后发现问题，可以通过复制功能进行完善后再次上线，有问题的任务及时删除或下线。
暂停中	上线后临时暂停状态，支持部署、报告、复制、上线、下线等操作。
已下线	手动下线，支持部署、报告、复制、删除等操作。
事件指标	选择的关注事件指标（业务关心、用户体验相关或可能造成负增长的指标），统计结果出现在实验报告中。
核心指标	业务最关心的指标，用于计算统计学指标并给出结论——实验是否可以结束、哪组胜出。
对照组 / 实验组	对照组为线上的原始策略，实验组为提出的新策略，通过核心指标评估哪种策略更好。

场景小结

产品改版、UI 样式或后端算法优化上线前，用 AB 测试以小流量验证新策略：新建实验先处于调试中完成配置并部署，正式开启后进入已上线，运行中可临时暂停、结束手动下线；通过实验报告中的事件指标与核心指标，依据统计学结论判断实验能否结束、哪组胜出，让每次策略迭代都建立在数据决策之上。