数据集管理

概述

数据集管理模块主要面向接入的数据源进行数据集加工,加工好的数据集可以在数据应用层直接使用,比如敏捷分析/标签生产/分群创建等场景。其中,平台支持的数据集类型主要分为三类:行为日志表、维度表、字典表。

1)行为日志表:主要面向“数据上报”数据源加工数据集,记录客户的行为日志数据,比如页面浏览、页面停留、页面分享等客户行为日志数据。

2)维度表:常见维度表如商品维表、门店维表等,可以作为行为日志表的关联维度表进行关联分析。

3)字典表:记录value-label的映射关系,用于对字段值进行翻译使用,比如“1-普卡会员”、“2-银卡会员”、“3-金卡会员”。

image797.png

创建行为日志表

2.1 行为日志表创建 – 数据上报

行为日志表创建支持两种方式,第一种将数据上报(数据接入-数据上报模块)的数据源加工成数据集。需填写数据集名称(必填)、项目(必填,指定数据上报项目)、事件三要素(默认对齐数据上报项目)。

其中,事件主体ID支持配置多个,即同一个行为日志表可以被不同主体关联使用。指定事件主体ID关联行为日志表和实体表,比如客户下单行为主体为“客户实体”,门店订货行为主体为“门店实体”;下游基于不同主体应用则可以使用关联的行为日志表,比如行为表A关联了门店主体,则对门店主体进行打标时可以使用行为表A。

image799.pngimage801.png

2.2 行为日志表创建 – 复合来源

行为日志表创建支持两种方式,第二种将多个数据上报(数据接入-数据上报模块)的数据源进行整合,加工成数据集。需填写数据集名称(必填)、多数据来源(必填,指定数据上报项目)。为保证数据源能够整合,事件主体ID类型必须保持一致。

image803.pngimage805.png

2.3 行为日志表创建 – 事件管理

事件管理模块基于数据上报项目的参数列表,构建完整的事件模型,即指定每个事件关联的参数描述。平台提供三种事件登记方式:单个登记、批量登记、虚拟事件。

image807.png

【单个登记】逐个事件进行登记,并关联该事件的参数描述。

image809.png

【批量登记】提供表格模板快捷登记事件及关联参数,即可完成事件的批量登记。

image811.png

image813.png

【虚拟事件】可组合系统已有的事件,生成虚拟事件。当任意一个事件被触发时,则视作该虚拟事件被触发。

image815.png

2.4 行为日志表创建 – 数据预览

行为日志表详情页支持对行为日志表明细数据进行预览,最多展示/下载5000条。

image.png

2.5 行为日志表创建 – 关联维表

行为日志表详情页支持指定参数关联维度表,以便下游应用使用,如事件分析支持关联维表分析。场景举例:行为日志表上报了商品ID,则商品实体的其他维度信息无需冗余上报,通过上传维度表并进行关联维表操作,即可应用。

image819.png

2.6 行为日志表创建 – 参数描述

行为日志表详情页支持查看参数列表,比如事件三要素,事件类型(event_code)、事件发生时间(event_time)、触发事件用户(uin)。

image821.png

      参数支持关联字典表,如下所示:

image823.png

2.7 行为日志表创建 – 虚拟字段

虚拟字段功能模块支持基于行为日志表进行字段加工,平台提供两种模式:简单模式和SQL模式。简单模式主要通过配置化实现,SQL模式需要输入合法SQL实现。

image829.pngimage831.png

管理行为日志表

3.1 行为日志表管理 – 编辑

在行为日志表列表页可以点击编辑,对已创建的行为日志表进行编辑操作。

image833.pngimage835.png

3.2 行为日志表管理 – 删除

在行为日志表列表页可以点击删除,对已创建的行为日志表进行删除操作。

image837.png

3.3 行为日志表管理 – 查看列表

在数据集列表页可以通过搜索快速查找行为日志表:在搜索框中输入数据集名称或ID,可以快速定位符合条件的行为日志表。

image839.png

3.4 行为日志表管理 – 权限申请/授权

管理员及数据集创建者等可以通过「权限」,快捷地把数据集的资产权限授予他人,被授权者将具备数据集的查看、编辑或授权权限。

image841.png

image843.png

创建维度表

4.1 维度表创建 – 本地上传

维度表创建支持通过本地文件上传形式创建,填写数据表名称(必填)、数据表名(必填)、维表类型(用户维度表/内容维度表)、维度表数据(表格导入)等信息进行创建。下面分别以用户维度表和内容维度表进行示意。

image845.pngimage847.png

用户维度表:以导入“会员档案”为例,导入会员档案表,并确认该表的主键(用户ID),方便作为被关联维表使用(通过用户ID关联)。表结构配置页面用于设置导入字段的显示名和字段类型。

image849.pngimage851.png

内容维度表:参考用户维度表导入,同理可导入商品维度表、门店维度表等。

image853.png

4.2 维度表创建 – 实体导入

实体管理模块下的实体表默认会同步至数据集管理模块,并作为维度表,无需手动操作。

image855.png

4.3 维度表创建 – 数据预览

维度表详情页支持对维度表明细数据进行预览,最多展示50条。

image857.png

4.4 维度表创建 – 参数描述

维度表详情页支持查看维度表下的参数列表,以“商品”维度表为例,可以查看如“商品类型”、“商品品类”等字段。

image859.png

管理维度表

5.1 维度表管理 – 编辑

在维度表列表页可以点击编辑,对已创建的维度表进行编辑操作。

image861.png

image863.png

5.2 维度表管理 – 删除

在维度表列表页可以点击删除,对已创建的维度表进行删除操作。

image865.png

5.3 维度表管理 – 查看列表

在数据集列表页可以通过搜索快速查找维度表:在搜索框中输入数据集名称或ID,可以快速定位符合条件的维度表。

image867.png

5.4 维度表管理 – 权限申请/授权

管理员及数据集创建者等可以通过「权限」,快捷地把数据集的资产权限授予他人,被授权者将具备数据集的查看、编辑或授权权限。

image869.pngimage871.png

创建字典表

6.1 字典表创建 – 枚举字典表

字典表创建支持两种形式,一种是枚举字典表,另一种是上传本地文件,此处主要描述枚举字典表。填写数据集名称(必填)、数据表名(必填)、字典内容(text 或 json格式),提交即可生成字典表。

image873.pngimage875.png

6.2 字典表创建 – 本地上传

字典表创建支持两种形式,一种是枚举字典表,另一种是上传本地文件,此处主要描述本地文件。填写数据集名称(必填)、数据表名(必填)、字典内容(表格导入),再定义上传内容中的字典映射关系。

image877.pngimage879.png

上传本地文件后,需定义字典表的映射关系(value-label),即哪一列为字段值(value),哪一列为翻译显示值(label)。平台提供两种映射关系维护,全局字典表和局部字典表。

image881.png

全局字典表:全局字典表适用于单字段场景,关联该字典表后,会依据Value-显示值进行翻译。Value需保障全局唯一,如存在多条重复Value记录,默认使用第一条。

image883.png

局部字典表:局部字典表适用于多字段场景,即不同的字段Key复用同一字典表,关联该字典表后,会依据字段Key下的Value-显示值进行翻译。同一个字段Key下的Value需保障全局唯一,如存在多条重复Value记录,默认使用第一条。

image885.png

6.3 字典表创建 – 数据预览

字典表详情页支持对字典表明细数据进行预览。

image887.png

管理字典表

7.1 字典表管理 – 编辑

在字典表列表页可以点击编辑,对已创建的字典表进行编辑操作。

image889.pngimage891.png

7.2 字典表管理 – 删除

在字典表列表页可以点击删除,对已创建的字典表进行删除操作。

image893.png

7.3 字典表管理 – 查看列表

在数据集列表页可以通过搜索快速查找字典表:在搜索框中输入数据集名称或ID,可以快速定位符合条件的字典表。

image895.png

7.4 字典表管理 – 权限申请/授权

管理员及数据集创建者等可以通过「权限」,快捷地把数据集的资产权限授予他人,被授权者将具备数据集的查看、编辑或授权权限。

image897.pngimage899.png