点击【创建实验】按钮,选择“可视化编辑实验”类型,进入实验创建流程:
1. 填写基本信息——
•实验ID:必填项,ID全局唯一,需字母开头,且仅支持字母、数字、及下划线组成。例如:exp_产品_子产品_业务_实验名称。
•实验名称:必填项,建议取与实验内容相关的名称,如有实验版本迭代可以增加版本号后缀,方便用户快速理解实验内容、是在哪个迭代版本的。
•实验标签:必选项,给实验打上的能标识实验特性的信息。实验标签中带“*”的标签选项,都是必填的。
•实验负责人:必选项,默认是实验的创建者,也支持自定义实验负责人。实验负责人对实验的操作权限,同实验创建者。
•实验设计:可以填写实验方案或背景信息,例如提出问题、建立实验假设,等等。
·提出问题——例如为什么注册页面转化率不高?为什么推荐系统点击率不理想?
·建立实验假设——例如让注册按钮文案更有吸引力将提升点击率,或者更换一套推荐模型将提升点击率。
2. 选择关注指标——
•实验强相关指标:从指标列表中挑选与当前实验强相关的指标
·T1-期望提升指标:当前实验要验证的核心提升目标。
·添加数量不超过50个
·只可选择“均值类、比例类、比率类”3种类型的指标
·T2-其他普通指标:不属于实验设计范围中的指标,可作为实验额外观察的指标。
•业务默认添加指标:无需用户操作,默认会将与业务强相关的指标加入当前实验
·T0-北极星指标:业务的终极目标,是公司级别的战略性指标。
·T1-护栏指标:测量不良用户体验的指标,是实验中不应该显著负向的指标。旨在保护业务不出现异常。
3. 设置实验版本——
•实验URL:作用于触发实验下发的URL (实验URL需要以http://或https://协议作为开头)
·精准匹配:默认的实验URL配置方式,用户访问的URL需要与实验URL完全一致,才能参与实验;
·模糊匹配:忽略URL中查询的参数和锚点,用户访问的URL域名和路径匹配即可参与实验。
•添加版本:可添加多个实验版本
•版本名称、版本key:默认实验版本A为对照组,不支持修改;其余实验版本均为实验组
•预览版本:可预览已填写的实验URL的对照版本页面内容
•进入编辑器:支持进入已填写的实验URL页面,并对其进行可视化编辑
可视化编辑区域——
•顶部功能区
·支持切换 “编辑模式、预览模式”
·支持切换 “实验版本”
·支持对编辑内容进行“上一步、下一步、保存”的操作
·支持切换桌面端、移动端的视图模式
•功能面板:在“编辑模式“下,点击面中的任意元素即可触发功能面板
·元素类型:元素基本信息展示;可新增或修改元素所关联的URL
·字体排版:支持对文本内容、加粗/斜体/下划线、字号、行高、颜色、对齐方式等属性进行编辑
·背景填充:支持背景色和背景图两种填充方式
·边框:支持对元素的边框颜色、宽度、圆角、样式进行编辑
·阴影:支持对元素阴影和字体阴影进行编辑
·移动元素:支持对元素位置进行快速更改
·重排:点击【开始移动】按钮,选择需要重排的元素,对其位置进行重排
·任意位置:点击【开始移动】按钮,选择需要改变位置的元素,即可将其拖动到任意位置
4. 设置受众用户——
•选择层域:选择实验层,支持查看当前实验层的流量被哪些实验占用,剩余多少流量
•选择受众规则:
·实验层流量比例:选择实验层后,该实验层剩余的流量比例
·按人群标签:从人群标签清单中选择标签并配置标签之间的规则,从而实现人群圈选。只有被圈选的人群才可参与当前实验。
•实验总流量:当前实验各个版本在当前层预计最大可上线的流量比例。可以认为是“占坑流量“,后续编辑/设置线上流量需要在占坑的范围内进行设置。例如”实验版本1“预设最大流量为20%,那么后续编辑/设置线上流量只可≤20%。一般情况,不同版本的流量占比是平均的,尽可能保障实验置信度;各实验版本的最大流量占比的总和≤100%。
•版本流量分配:默认均匀分配,也可选择自定义流量分配。
以上,所有信息填写完毕,点击【进入调试期】按钮,实验即可创建成功。