层域AB实验

点击【创建实验】按钮,选择“层域AB实验”类型,进入实验创建流程:

企点营销云_实验平台AB(AB Test)__产品操作手册_V2.1_202308212126.png

① 填写基本信息——

实验ID:必填项ID全局唯一,需字母开头,且仅支持字母、数字、及下划线组成。如:exp_产品_子产品_业务_实验名称。

实验名称:必填项,建议取与实验内容相关的名称,如有实验版本迭代可以增加版本号后缀,方便用户快速理解实验内容、是在哪个迭代版本的。

实验标签:必选项,给实验打标识实验特性的信息。实验标签中带*”的标签选项,都必填的。

实验负责人:必选项,默认是实验创建者,也支持自定义实验负责人。实验负责人对实验的操作权限,同实验创建者。

实验设计:可以填写实验方案背景信息,如提出问题、建立实验假设,等等。

·提出问题——例如为什么注册页面转化率不高?为什么推荐系统点击率不理想?

·建立实验假设——例如让注册按钮文案更有吸引力将提升点击率或者更换一套推荐模型将提升点击率。

企点营销云_实验平台AB(AB Test)__产品操作手册_V2.1_202308212486.png 

② 选择关注指标——

实验强相关指标:从指标列表中挑选与当前实验强相关的指标

·T1-期望提升指标:当前实验要验证的核心提升目标。

·添加数量不超过50个

·只可选择“均值类、比例类、比率类”3种类型的指标

·T2-其他普通指标:不属于实验设计范围的指标,可作为实验额外观察的指标。

业务默认添加指标:无需用户操作,默认会将与业务强相关的指标加入当前实验

·T0-北极星指标:业务的终极目标,是公司级别的战略性指标。

·T1-护栏指标:测量不良用户体验的指标,实验中不应该显著负向的指标旨在保护业务不出现异常。

实验结论设置:配置规则,使后续实验上线后能够按照规则自动生成结论

 企点营销云_实验平台AB(AB Test)__产品操作手册_V2.1_202308212772.png

③ 设置实验版本——

不同的实验参数(key、value)对应的不同的业务策略、功能,配置参数需与代码中约定的配置保持一致,主要用来支持此实验参数的下发。建议联系研发共同填写。

版本名称、版本key实验版本和对照版本是一组相对概念。假设在实验中,参与的用户被随机地分配到A组和B组中,A组用户在产品中体验到新策略,B组用户在实验中体验的仍旧是旧策略。在这一实验过程中,A组便为实验组,B组则为对照组。

·实验中至少有1个实验组和1个对照组

·输入详细、有辨识度的版本名称版本key,方便后续查看的了解版本信息

·点击+添加版本按钮,为当前实验创建更多实验版本。

配置实验参数:实验参数是对实验业务策略、功能的配置化映射,即不同的实验参数对应的不同的业务策略、功能。配置参数需与代码中约定的配置保持一致。

·点击+添加参数按钮,添加更多参数

·点击使用模板按钮,可以选择创建过的参数模板。

复制:复制某个实验版本的实验参数信息

删除:删除某个实验版本

企点营销云_实验平台AB(AB Test)__产品操作手册_V2.1_202308213206.png 

④ 设置受众用户——

选择层域:选择实验层,支持查看当前实验层流量被哪些实验占用,剩余多少流量

选择受众规则:

·实验层流量比例:选择实验层后,该实验层剩余的流量比例

·按人群标签:人群标签清单中选择标签并配置标签之间的规则,从而实现人群圈选。只有被圈选的人群才可参与当前实验。

实验总流量:当前实验各个版本在当前层预计最大可上线的流量比例。可以为是占坑流量,后续编辑/设置线上流量需要在占坑的范围内进行设置。例如实验版本1预设最大流量为20%,那么后续编辑/设置线上流量只可≤20%。一般情况,不同版本的流量占比是平均的,尽可能保障实验置信度;各实验版本的最大流量占比的总和100%。

版本流量分配:默认均匀分配,可选择自定义流量分配。

企点营销云_实验平台AB(AB Test)__产品操作手册_V2.1_202308213533.png 

以上,所有信息填写完毕,点击进入调试期按钮,实验即可创建成功。