1、背景信息
一个AB实验最大可占满大盘的百分百流量,各个实验版本之间是互斥的,多个实验之间是正交的。如果业务需要多个实验之间是互斥的,AB实验是做不到的,因此引入层域实验来达到实验间互斥,流量贯穿等目的,适合大业务使用。
当业务只需要正交层,可使用默认多层域。
2、层域概念
•多层:实验是挂载多层或者单层上的,多层只能挂载在多层域上面。(多层其实还是一层,不是字面意思)
•单层:实验是挂载多层或者单层上的,单层只能挂载在域上面,流入流量可设定。
•域:子节点为单层、多层域、域,不能挂载实验,流入流量为 100% - 同级单层,最顶层的“全局”可以认为是一个域。
•多层域:子节点为多层,流入流量可设定。
实验只能挂载在单层或则多层下,其他节点不挂载实验。
3、层域列表
•层域名:可点击“层域名”列下的展开/收起icon,即可展开收/起层域/实验层
•占上级流量:指的是“当前实验层”占“上一级层域”的流量占比
•桶号:流量的区分范围,如[98-100],一共为100份流量,该层为98、99、100这三份流量
•占全局流量:由于层域划分分了很多层级,所以给出占全局流量字段,可以看到当前层占最上层全局下的比例
•场景:场景的作用是对层或者域做一个场景分类,方便在SDK上做实验信息获取的过滤,保证拉取的实验信息就是单独业务场景要用到的,避免过度曝光
•流量分桶:分为百分桶/千分桶/万分桶/十万分桶,除了百分桶,其他分桶粒度都有12%的预留流量
•操作:
·rehash:该层流量hash重置,分桶分流处理(需要层上没有在线实验才能操作,否则会引起用户体验跳变)
·计算层域流量:点开可以看到层上所挂在的实验是哪些
4、新建/编辑层域
点击【编辑】按钮,进入新建/编辑流程:
•层域编号:建议使用英文,这个key是SDK返回的结构中的key,一个用户一层只会命中一个实验。
•层域类型:
·域:是一个正交空间的划分,本质是域,上级也是域不可挂载实验。
·多层域:是多层的载体,一般来说挂在域下,流量为100%-单层。
·多层:正交层,可以挂载实验。选择单层、多层的时候需要选定流量分桶,流量分桶默认为百分桶,建议为十万分桶 。即一层由十万个桶组成,实验波动更少。
·单层:是一个可挂载实验的实验层,一般用作贯穿层,因为域下流量处理为100%-单层,这样单层会贯穿整个域。选择单层、多层的时候需要选定流量分桶,流量分桶默认为百分桶,建议为十万分桶 。即一层由十万个桶组成,实验波动更少。
•配置流量:配置占上级
•场景选择:场景的作用是对层或者域做一个场景分类,方便在SDK上做实验信息获取的过滤,保证拉取的实验信息就是单独业务场景要用到的,避免过度曝光。部分大业务有开启场景过滤,如果使用,请先跟业务接入层同学了解清楚使用哪个场景,层域创建后,不支持修改。场景选择会影响到实验命中。
•层桶数:单层和多层需要设置层桶数,桶数选择尽量依据每个桶尽量大于100人,以防止某个桶没有用户的现象出现。例如DAU为100W,则1000W/100=1W,则可以使用万分桶。
5、查看层域
•顶部数字:顶部的0~100为用户进入这层的整体流量比例情况
•已用:该层上已有实验用到的流量范围
•不可用:不可用为TAB为层预留的shuffle流量,非百分桶层都会有12%的预留流量
•可用:该层剩余多少流量可以使用