1、什么是TAB?
TAB(Tencent AB Test)是一站式的AB实验平台,覆盖接入、分流、指标计算、数据报告整个实验流程,帮助我们更高效更科学地通过AB实验进行产品迭代及决策。
2、AB的目标?
More
支持更多的实验同时运行;
在整体流量固定的情况下,可支持更多实验。
Better
更好的易用性;
能识别更好的实验,不合理的实验不允许在线上流量进行。合理的但效果很差的实验,比如有bug的实验或是产生很差用户体验的实验,能很快的被识别并且下线。
Faster
支持快捷创建实验,同时支持不具备工程师技能的同学可创建实验;
可以快速产出实验指标,便于分析实验结果。
3、什么是AB实验?
AB实验源自于生物医学里的双盲测试。在双盲测试中,病人被随机分成两组,在病人不知情的情况下分别给予安慰剂和测试用药进行服用。经过一段时间的观察,实验人员比较这两组病人的病情变化是否具有差异,并以此来判断测试用药是否有效。
互联网公司的AB实验也延用了该概念。假设目前产品迭代中有A、B两个方案(例如方案A使用红色banner,方案B使用蓝色banner),业务可以通过对两个或多个属性相似的用户群体,分别在测试A方案和B方案带来的效果,收集相关数据,然后基于数据分析,给出最好产品方案并进行上线使用。4、为什么要进行AB实验?
获取真实的线上反馈
通过AB实验可以明确方案A和方案B在线上带来的效果差异,并从统计学的角度证实该上线方案与效果间的因果关系,同时较为准确与有效的量化上线策略所带来的增量。
小成本、低风险
大型互联网公司,每年每个季度要上线各种优化策略(包含:UI设计、算法优化等等),AB实验可以帮助业务做决策时在小成本和低风险的情况下,完成对最优解决方案的判断,并且使其决策的收益最大化。
5、关键术语