2 数据上报

2.1 创建数据上报项目

一个数据上报项目意味着一个数据源,底层对应一张数据表。企业通常存在多个前台业务,比如企业自建App、自建小程序、H5页面等。如需要在数据应用层对多个客户端的客户行为日志数据进行统一应用,比如分析企业下客户在所有端的访问频次,则建议将不同客户端的行为日志数据上报到同一个项目中,以便进行联合分析应用。如跨端数据无联合应用场景,则可以创建多个数据上报项目,对每个项目进行独立分析与应用。

image639.png

创建数据上报项目仅需填写如下字段即可:项目名称(必填)、分区设置(必填)、是否回溯(必填)、备注(选填)。

       - 分区设置:如近2年内预期数据仅十亿级规模,建议按月分区;类订单数据如需回溯更新,要求按天分区。

       - 是否回溯:回溯是指对该项目表的历史数据进行更新操作,典型应用场景如订单/优惠券/积分等数据更新,建议数据规模在亿级范围内;默认为否,如错误标记为支持回溯,将影响数据查询性能,可能造成查询失败,请谨慎操作。

填写完基础信息后,需要添加数据上报应用,如Android、iOS、HarmonyOS、Web、小程序、服务端等上报端类型。每添加一个应用,系统将自动分配一个Appkey,即上报应用端的唯一标识,该Appkey用于SDK上报时的合法性验证,比如使用小程序SDK采集客户行为日志数据,则前置需要创建一个数据上报项目,并为该小程序应用分配一个Appkey,在SDK初始化中填入Appkey参数,以便保障数据能够正常上报。

备注:SDK快速接入指南参考SDK接入文档,在项目实施过程中可联系交付工程师获取。

Clipboard_Screenshot_1736758402.png

2.2 管理数据上报参数

2.2.1 数据上报参数管理 – 登记参数

参数管理页面默认包含预设参数,即创建数据上报项目后初始化的参数列表,包含事件三要素,如事件Code、上报时间、uin(触发该行为的客户ID),以及其他业务参数(如广告UTM参数)。

预设参数用于承接不同客户端SDK的预置行为上报,每个客户端SDK上报的参数内容不同,详情可以参考对应的SDK接入指南。

image643.png

除了预设参数以外,系统还支持扩展其他的自定义参数,比如上报支付订单行为事件的“订单金额”,则可以新建“订单金额”参数用于记录该数据。

image645.png

平台提供三种参数登记方式,单个登记、批量登记、文件上传。参数数量上限共800个,其中字符串(string)参数上限650个,整型(int)参数上限150个,小数型(double)参数上限50个。

【单个登记】即逐个参数进行手动登记,填写每个参数的参数名称(必填,即参数Key)、参数类型(必填,支持string / bigint / double / array(string))、参数描述(必填,即参数Key对应的显示名)。

Clipboard_Screenshot_1733300751.png

【批量登记】按照“参数Key 参数类型 参数显示名”格式规范进行参数批量登记,并使用“,”分隔,示例如下:

test1 string 测试参数1,

test2 bigint 测试参数2,Clipboard_Screenshot_1733300805.png


【文件上传】按照“参数Key 参数类型 参数显示名”格式规范的表格模板进行参数批量登记,将文件导入系统则完成参数的批量登记。示例如下:

image651.png

image653.png

参数更新机制均为增量更新,即每次批量导入新的参数,不会覆盖系统已有参数,仅对系统未存在的参数进行新增。

2.2.2 数据上报参数管理 – 编辑参数

      在参数列表页支持对已创建的参数进行编辑,仅能修改参数描述(即参数显示名),如下所示:

image655.png

2.2.3 数据上报参数管理 – 删除参数

在参数列表页支持对已创建的参数进行删除,如下所示:

image657.png

2.2.4 数据上报参数管理 – 查看参数列表

在参数列表页可以通过搜索快速查找参数:在搜索框中输入参数名称或参数描述,可以快速定位符合条件的参数。

image659.png

2.2.5 数据上报参数管理 – 导出参数

在参数列表页可以导出系统中已经登记的参数清单,导出参数范围仅包含自定义参数,不包含预设参数。如下所示:

image661.png

image663.png

2.3 管理数据上报项目

2.3.1 数据上报详情管理 – 查看项目详情

在数据上报列表页点击某一项目,则可以跳转至项目详情页,并可以查看/编辑项目的基础信息,包含项目ID、项目名称、应用终端、项目负责人、备注、创建人/创建时间、修改人/修改时间等信息。

image665.pngimage667.png

2.3.2 数据上报详情管理 – 数据预览

数据上报项目详情页可以对上报数据明细进行预览,可以通过搜索和筛选快速查找满足条件的数据明细:如筛选行为事件上报时间、事件Code、用户uin、应用标识Appkey等;如搜索对应的行为事件Code来找到符合条件的数据明细。

为减少查询负载,数据预览模块仅返回最新的5000条数据,且行为事件上报时间筛选仅支持近一周的行为数据明细查询。

数据预览模块主要用于查验实时上报数据,比如实施方在小程序端触发了行为日志上报,则可以在数据预览模块实时查看小程序上报的数据,并验证上报数据是否符合埋点数据格式规范。

image.png

2.3.3 数据上报详情管理 – 入库校验

入库校验模块可以设置IP黑名单、域名黑名单、事件校验规则等多种方式,对不满足条件的数据进行校验后拦截入库。配置变更后,预计在一小时内对增量数据生效,不对历史数据进行回溯,请谨慎操作。Clipboard_Screenshot_1733301196.png


2.3.4 数据上报列表管理 – 查看项目列表

在数据上报列表页可以通过搜索和筛选快速查找项目:在搜索框中输入Appkey或项目名称,可以快速定位符合条件的项目;勾选「我创建的」可以快速筛选出由本人创建的项目。

image671.png

2.3.5 数据上报列表管理 – 添加应用

在数据上报列表页可以快捷添加应用标识,同创建数据上报项目流程,可以在新建的基础上添加数据上报应用端标识,并获取系统分配的新的AppKey。常见场景如,历史已有小程序A的数据上报项目,企业下新开发了一款小程序B,则可以添加小程序应用B的应用标识,并获取新的AppKey用于上报小程序B的客户行为日志数据。

image673.png

2.3.6 数据上报列表管理 – 权限授权/申请

      管理员及数据集创建者等可以通过「权限」,快捷地把数据上报项目的资产权限授予他人,被授权者将获得数据上报项目具备的查看、编辑或授权权限。

image675.pngimage677.png