点击【创建实验】按钮,选择“独立层AB实验”类型,进入实验创建流程:
① 填写基本信息——
•实验ID:必填项,ID全局唯一,需字母开头,且仅支持字母、数字、及下划线组成。例如:exp_产品_子产品_业务_实验名称。
•实验名称:必填项,建议取与实验内容相关的名称,如有实验版本迭代可以增加版本号后缀,方便用户快速理解实验内容、是在哪个迭代版本的。
•实验标签:必选项,给实验打上的能标识实验特性的信息。实验标签中带“*”的标签选项,都是必填的。
•实验负责人:必选项,默认是实验的创建者,也支持自定义实验负责人。实验负责人对实验的操作权限,同实验创建者。
•实验设计:可以填写实验方案或背景信息,例如提出问题、建立实验假设,等等。
·提出问题——例如为什么注册页面转化率不高?为什么推荐系统点击率不理想?
·建立实验假设——例如让注册按钮文案更有吸引力将提升点击率,或者更换一套推荐模型将提升点击率。
② 选择关注指标——
•实验强相关指标:从指标列表中挑选与当前实验强相关的指标
·T1-期望提升指标:当前实验要验证的核心提升目标。
·添加数量不超过50个
·只可选择“均值类、比例类、比率类”3种类型的指标
·T2-其他普通指标:不属于实验设计范围中的指标,可作为实验额外观察的指标。
•业务默认添加指标:无需用户操作,默认会将与业务强相关的指标加入当前实验
·T0-北极星指标:业务的终极目标,是公司级别的战略性指标。
·T1-护栏指标:测量不良用户体验的指标,是实验中不应该显著负向的指标。旨在保护业务不出现异常。
•实验结论设置:配置规则,使后续实验上线后能够按照规则自动生成结论
③ 设置实验版本——
不同的实验参数(key、value)对应的不同的业务策略、功能,配置参数需与代码中约定的配置保持一致,主要用来支持此实验参数的下发。建议联系研发共同填写。
•版本名称、版本key:实验版本和对照版本是一组相对概念。假设在实验中,参与的用户被随机地分配到A组和B组中,A组用户在产品中体验到新策略,B组用户在实验中体验的仍旧是旧策略。在这一实验过程中,A组便为实验组,B组则为对照组。
·实验中至少有1个实验组和1个对照组;
·输入详细、有辨识度的版本名称、版本key,方便后续查看时更好的了解版本信息;
·点击【+添加版本】按钮,为当前实验创建更多实验版本。
•配置实验参数:实验参数是对实验业务策略、功能的配置化映射,即不同的实验参数对应的不同的业务策略、功能。配置参数需与代码中约定的配置保持一致。
·点击【+添加参数】按钮,添加更多参数;
·点击【使用模板】按钮,可以选择创建过的参数模板。
•复制:复制某个实验版本的实验参数信息
•删除:删除某个实验版本
④ 设置受众用户——
•选择层域:选择层域,在该层域下新建一个实验层,可以占满100%的流量
•关联实验场景:标记当前实验归属哪个场景
•选择受众规则:
·实验层流量比例:选择实验层后,该实验层剩余的流量比例
·按人群标签:从人群标签清单中选择标签并配置标签之间的规则,从而实现人群圈选。只有被圈选的人群才可参与当前实验。
•实验总流量:当前实验各个版本在当前层预计最大可上线的流量比例。可以认为是“占坑流量“,后续编辑/设置线上流量需要在占坑的范围内进行设置。例如”实验版本1“预设最大流量为20%,那么后续编辑/设置线上流量只可≤20%。一般情况,不同版本的流量占比是平均的,尽可能保障实验置信度;各实验版本的最大流量占比的总和≤100%。
•版本流量分配:默认均匀分配,也可选择自定义流量分配。
以上,所有信息填写完毕,点击【进入调试期】按钮,实验即可创建成功。