1 概述
数据集管理模块主要面向接入的数据源进行数据集加工,加工好的数据集可以在数据应用层直接使用,比如敏捷分析/标签生产/分群创建等场景。其中,平台支持的数据集类型主要分为三类:行为日志表、维度表、字典表。
1)行为日志表:主要面向“数据上报”数据源加工数据集,记录客户的行为日志数据,比如页面浏览、页面停留、页面分享等客户行为日志数据。
2)维度表:常见维度表如商品维表、门店维表等,可以作为行为日志表的关联维度表进行关联分析。
3)字典表:记录value-label的映射关系,用于对字段值进行翻译使用,比如“1-普卡会员”、“2-银卡会员”、“3-金卡会员”。
2 创建行为日志表
2.1 行为日志表创建 – 数据上报
行为日志表创建支持两种方式,第一种将数据上报(数据接入-数据上报模块)的数据源加工成数据集。需填写数据集名称(必填)、项目(必填,指定数据上报项目)、事件三要素(默认对齐数据上报项目)。
其中,事件主体ID支持配置多个,即同一个行为日志表可以被不同主体关联使用。指定事件主体ID关联行为日志表和实体表,比如客户下单行为主体为“客户实体”,门店订货行为主体为“门店实体”;下游基于不同主体应用则可以使用关联的行为日志表,比如行为表A关联了门店主体,则对门店主体进行打标时可以使用行为表A。
2.2 行为日志表创建 – 复合来源
行为日志表创建支持两种方式,第二种将多个数据上报(数据接入-数据上报模块)的数据源进行整合,加工成数据集。需填写数据集名称(必填)、多数据来源(必填,指定数据上报项目)。为保证数据源能够整合,事件主体ID类型必须保持一致。
2.3 行为日志表创建 – 事件管理
事件管理模块基于数据上报项目的参数列表,构建完整的事件模型,即指定每个事件关联的参数描述。平台提供三种事件登记方式:单个登记、批量登记、虚拟事件。
【单个登记】逐个事件进行登记,并关联该事件的参数描述。
【批量登记】提供表格模板快捷登记事件及关联参数,即可完成事件的批量登记。
【虚拟事件】可组合系统已有的事件,生成虚拟事件。当任意一个事件被触发时,则视作该虚拟事件被触发。
2.4 行为日志表创建 – 数据预览
行为日志表详情页支持对行为日志表明细数据进行预览,最多展示/下载5000条。
2.5 行为日志表创建 – 关联维表
行为日志表详情页支持指定参数关联维度表,以便下游应用使用,如事件分析支持关联维表分析。场景举例:行为日志表上报了商品ID,则商品实体的其他维度信息无需冗余上报,通过上传维度表并进行关联维表操作,即可应用。
2.6 行为日志表创建 – 参数描述
行为日志表详情页支持查看参数列表,比如事件三要素,事件类型(event_code)、事件发生时间(event_time)、触发事件用户(uin)。
参数支持关联字典表,如下所示:
2.7 行为日志表创建 – 虚拟字段
虚拟字段功能模块支持基于行为日志表进行字段加工,平台提供两种模式:简单模式和SQL模式。简单模式主要通过配置化实现,SQL模式需要输入合法SQL实现。
3 管理行为日志表
3.1 行为日志表管理 – 编辑
在行为日志表列表页可以点击编辑,对已创建的行为日志表进行编辑操作。
3.2 行为日志表管理 – 删除
在行为日志表列表页可以点击删除,对已创建的行为日志表进行删除操作。
3.3 行为日志表管理 – 查看列表
在数据集列表页可以通过搜索快速查找行为日志表:在搜索框中输入数据集名称或ID,可以快速定位符合条件的行为日志表。
3.4 行为日志表管理 – 权限申请/授权
管理员及数据集创建者等可以通过「权限」,快捷地把数据集的资产权限授予他人,被授权者将具备数据集的查看、编辑或授权权限。
4 创建维度表
4.1 维度表创建 – 本地上传
维度表创建支持通过本地文件上传形式创建,填写数据表名称(必填)、数据表名(必填)、维表类型(用户维度表/内容维度表)、维度表数据(表格导入)等信息进行创建。下面分别以用户维度表和内容维度表进行示意。
用户维度表:以导入“会员档案”为例,导入会员档案表,并确认该表的主键(用户ID),方便作为被关联维表使用(通过用户ID关联)。表结构配置页面用于设置导入字段的显示名和字段类型。
内容维度表:参考用户维度表导入,同理可导入商品维度表、门店维度表等。
4.2 维度表创建 – 实体导入
实体管理模块下的实体表默认会同步至数据集管理模块,并作为维度表,无需手动操作。
4.3 维度表创建 – 数据预览
维度表详情页支持对维度表明细数据进行预览,最多展示50条。
4.4 维度表创建 – 参数描述
维度表详情页支持查看维度表下的参数列表,以“商品”维度表为例,可以查看如“商品类型”、“商品品类”等字段。
5 管理维度表
5.1 维度表管理 – 编辑
在维度表列表页可以点击编辑,对已创建的维度表进行编辑操作。
5.2 维度表管理 – 删除
在维度表列表页可以点击删除,对已创建的维度表进行删除操作。
5.3 维度表管理 – 查看列表
在数据集列表页可以通过搜索快速查找维度表:在搜索框中输入数据集名称或ID,可以快速定位符合条件的维度表。
5.4 维度表管理 – 权限申请/授权
管理员及数据集创建者等可以通过「权限」,快捷地把数据集的资产权限授予他人,被授权者将具备数据集的查看、编辑或授权权限。
6 创建字典表
6.1 字典表创建 – 枚举字典表
字典表创建支持两种形式,一种是枚举字典表,另一种是上传本地文件,此处主要描述枚举字典表。填写数据集名称(必填)、数据表名(必填)、字典内容(text 或 json格式),提交即可生成字典表。
6.2 字典表创建 – 本地上传
字典表创建支持两种形式,一种是枚举字典表,另一种是上传本地文件,此处主要描述本地文件。填写数据集名称(必填)、数据表名(必填)、字典内容(表格导入),再定义上传内容中的字典映射关系。
上传本地文件后,需定义字典表的映射关系(value-label),即哪一列为字段值(value),哪一列为翻译显示值(label)。平台提供两种映射关系维护,全局字典表和局部字典表。
全局字典表:全局字典表适用于单字段场景,关联该字典表后,会依据Value-显示值进行翻译。Value需保障全局唯一,如存在多条重复Value记录,默认使用第一条。
局部字典表:局部字典表适用于多字段场景,即不同的字段Key复用同一字典表,关联该字典表后,会依据字段Key下的Value-显示值进行翻译。同一个字段Key下的Value需保障全局唯一,如存在多条重复Value记录,默认使用第一条。
6.3 字典表创建 – 数据预览
字典表详情页支持对字典表明细数据进行预览。
7 管理字典表
7.1 字典表管理 – 编辑
在字典表列表页可以点击编辑,对已创建的字典表进行编辑操作。
7.2 字典表管理 – 删除
在字典表列表页可以点击删除,对已创建的字典表进行删除操作。
7.3 字典表管理 – 查看列表
在数据集列表页可以通过搜索快速查找字典表:在搜索框中输入数据集名称或ID,可以快速定位符合条件的字典表。
7.4 字典表管理 – 权限申请/授权
管理员及数据集创建者等可以通过「权限」,快捷地把数据集的资产权限授予他人,被授权者将具备数据集的查看、编辑或授权权限。