数据接入

1 概述

数据接入模块用于将外部数据源导入CDP系统,以便服务CDP上层的数据应用(如标签/分群/分析等)。平台支持的标准数据接入方式主要分为如下几种:

1)【数据上报】用于采集客户的行为日志数据,比如页面浏览、页面停留时长、页面分享等行为日志数据。平台提供标准的SDK,供外部集成后上报客户行为日志数据,覆盖多个客户端SDK,如Web JS SDK、小程序SDK(微信/支付宝/百度等小程序)、Android App SDK、iOS App SDK等。除了客户端SDK以外,平台还支持通过服务端API上报客户的行为日志数据。具体SDK/API技术文档在项目实施过程中可联系交付工程师获取。

image635.png

2)【应用数据】用于连接第三方开放平台,并获取如客户/客户行为/客户标签等业务数据,比如连接微信公众平台后获取微信公众号粉丝数据/粉丝行为数据。平台当前支持微信公众号应用的数据连接,未来逐步放开如企业微信、腾讯广告等平台的数据接入能力。

image637.png

3)【开放平台OpenAPI】用于导入企业下的核心业务实体数据,比如客户、订单、商品、门店等重要实体数据。平台提供标准的OpenAPI支持实体数据的增删改查操作。具体API技术文档在项目实施过程中可联系交付工程师获取。

2 数据上报

2.1 创建数据上报项目

一个数据上报项目意味着一个数据源,底层对应一张数据表。企业通常存在多个前台业务,比如企业自建App、自建小程序、H5页面等。如需要在数据应用层对多个客户端的客户行为日志数据进行统一应用,比如分析企业下客户在所有端的访问频次,则建议将不同客户端的行为日志数据上报到同一个项目中,以便进行联合分析应用。如跨端数据无联合应用场景,则可以创建多个数据上报项目,对每个项目进行独立分析与应用。

image639.png

创建数据上报项目仅需填写如下字段即可:项目名称(必填)、备注(选填)。

填写完基础信息后,需要添加数据上报应用,如Android、iOS、Web、小程序、服务端等上报端类型。每添加一个应用,系统将自动分配一个Appkey,即上报应用端的唯一标识,该Appkey用于SDK上报时的合法性验证,比如使用小程序SDK采集客户行为日志数据,则前置需要创建一个数据上报项目,并为该小程序应用分配一个Appkey,在SDK初始化中填入Appkey参数,以便保障数据能够正常上报。

备注:SDK快速接入指南参考SDK接入文档,在项目实施过程中可联系交付工程师获取。

image641.png

2.2 管理数据上报参数

2.2.1 数据上报参数管理 – 登记参数

参数管理页面默认包含预设参数,即创建数据上报项目后初始化的参数列表,包含事件三要素,如事件Code、上报时间、uin(触发该行为的客户ID),以及其他业务参数(如广告UTM参数)。

预设参数用于承接不同客户端SDK的预置行为上报,每个客户端SDK上报的参数内容不同,详情可以参考对应的SDK接入指南。

image643.png

除了预设参数以外,系统还支持扩展其他的自定义参数,比如上报支付订单行为事件的“订单金额”,则可以新建“订单金额”参数用于记录该数据。

image645.png

平台提供三种参数登记方式,单个登记、批量登记、文件上传。参数数量上限共800个,其中字符串(string)参数上限650个,整型(int)参数上限150个,小数型(double)参数上限50个。

【单个登记】即逐个参数进行手动登记,填写每个参数的参数名称(必填,即参数Key)、参数类型(必填,支持string/bigint/double)、参数描述(必填,即参数Key对应的显示名)。

image647.png

【批量登记】按照“参数Key 参数类型 参数显示名”格式规范进行参数批量登记,并使用“,”分隔,示例如下:

test1 string 测试参数1,

test2 bigint 测试参数2,

image649.png

【文件上传】按照“参数Key 参数类型 参数显示名”格式规范的表格模板进行参数批量登记,将文件导入系统则完成参数的批量登记。示例如下:

image651.png

image653.png

参数更新机制均为增量更新,即每次批量导入新的参数,不会覆盖系统已有参数,仅对系统未存在的参数进行新增。

2.2.2 数据上报参数管理 – 编辑参数

      在参数列表页支持对已创建的参数进行编辑,仅能修改参数描述(即参数显示名),如下所示:

image655.png

2.2.3 数据上报参数管理 – 删除参数

在参数列表页支持对已创建的参数进行删除,如下所示:

image657.png

2.2.4 数据上报参数管理 – 查看参数列表

在参数列表页可以通过搜索快速查找参数:在搜索框中输入参数名称或参数描述,可以快速定位符合条件的参数。

image659.png

2.2.5 数据上报参数管理 – 导出参数

在参数列表页可以导出系统中已经登记的参数清单,导出参数范围仅包含自定义参数,不包含预设参数。如下所示:image663.png

2.3 管理数据上报项目

2.3.1 数据上报详情管理 – 查看项目详情

在数据上报列表页点击某一项目,则可以跳转至项目详情页,并可以查看/编辑项目的基础信息,包含项目ID、项目名称、应用终端、项目负责人、备注、创建人/创建时间、修改人/修改时间等信息。

image665.pngimage667.png

2.3.2 数据上报详情管理 – 数据预览

数据上报项目详情页可以对上报数据明细进行预览,可以通过搜索和筛选快速查找满足条件的数据明细:如筛选行为事件上报时间、事件Code、用户uin、应用标识Appkey等;如搜索对应的行为事件Code来找到符合条件的数据明细。

为减少查询负载,数据预览模块仅返回最新的5000条数据,且行为事件上报时间筛选仅支持近一周的行为数据明细查询。

数据预览模块主要用于查验实时上报数据,比如实施方在小程序端触发了行为日志上报,则可以在数据预览模块实时查看小程序上报的数据,并验证上报数据是否符合埋点数据格式规范。

image.png

2.3.3 数据上报列表管理 – 查看项目列表

在数据上报列表页可以通过搜索和筛选快速查找项目:在搜索框中输入Appkey或项目名称,可以快速定位符合条件的项目;勾选「我创建的」可以快速筛选出由本人创建的项目。

image671.png

2.3.4 数据上报列表管理 – 添加应用

在数据上报列表页可以快捷添加应用标识,同创建数据上报项目流程,可以在新建的基础上添加数据上报应用端标识,并获取系统分配的新的AppKey。常见场景如,历史已有小程序A的数据上报项目,企业下新开发了一款小程序B,则可以添加小程序应用B的应用标识,并获取新的AppKey用于上报小程序B的客户行为日志数据。

image673.png

2.3.5 数据上报列表管理 – 权限授权/申请

      管理员及数据集创建者等可以通过「权限」,快捷地把数据上报项目的资产权限授予他人,被授权者将获得数据上报项目具备的查看、编辑或授权权限。

image675.pngimage677.png

3 应用数据

应用数据模块重点描述微信公众号和企业微信SCRM应用数据接入,其他三方平台应用数据后续上线后更新。

image.png

3.1 应用数据接入-微信公众号

3.1.1 微信公众号 - 授权绑定

微信公众号应用数据接入,依赖将微信公众号授权绑定腾讯企点的微信公众平台,才可以从微信公众平台获取指定公众号应用下的粉丝数据/粉丝行为数据等。

image681.png image683.png

3.1.2 微信公众号 - 粉丝数据同步

如打开粉丝数据同步开关,则每日凌晨进行粉丝数据同步(包含粉丝openid/unionid等用户身份信息),非即时生效。

如关闭粉丝数据同步开关,则每日凌晨不再进行粉丝数据同步。

image685.png

3.1.3 微信公众号 - 粉丝行为数据同步

如打开粉丝行为数据同步开关,需指定某一数据上报项目用于承接该应用下的行为日志数据,则开始同步增量粉丝行为数据,无法对历史粉丝行为数据进行回溯。

如关闭粉丝行为数据同步开关,则停止粉丝行为数据同步。

image687.png

粉丝行为数据同步范围:包括关注公众号、取消关注公众号、点击公众号菜单、公众号粉丝发送消息等行为事件。

image689.png


3.1.4 微信公众号 - 查看列表

在微信公众号列表页可以查看每个授权绑定的公众号的基础信息,包括公众号名称、公众号类型(服务号/订阅号)、认证状态、绑定状态等。

image691.png

3.2 应用数据接入-抖音开放平台

3.2.1 抖音开放平台 - 授权绑定

抖音开放平台应用数据接入,依赖将抖音应用授权绑定,才可以获取指定抖音应用下的粉丝行为数据。

image.pngimage.png

3.2.2 抖音开放平台 - 粉丝行为数据同步

如打开粉丝行为数据同步开关,需指定某一数据上报项目用于承接该应用下的行为日志数据,则开始同步增量粉丝行为数据,无法对历史粉丝行为数据进行回溯。

如关闭粉丝行为数据同步开关,则停止粉丝行为数据同步。

image.png

粉丝行为数据同步范围:包括抖音用户发送私信消息、抖音用户接收私信消息、抖音用户进入私信会话页等行为事件。

image.png

3.2.3 抖音开放平台 - 查看列表

在抖音开放平台列表页可以查看每个授权绑定的抖音应用的基础信息,包括抖音应用名称、绑定状态、创建人/创建时间、最近修改人/修改时间等。

image.png

3.3 应用数据接入-企业微信SCRM应用

3.3.1 企业微信SCRM应用 - 授权绑定

企业微信中导购添加外部联系人ID、导购、导购与好友关系和企微事件等数据的接入,依赖客户的企业微信SCRM应用完成了绑定和授权。

image.pngimage.png

在企业已经购买的社群管理scrm套餐中绑定企业微信的主体。

image.pngimage.png

3.3.2 企业微信SCRM应用 - 数据同步开关

企业微信SCRM应用授权绑定后,可以设置数据同步开关以及事件同步的行为日志表。

image.png

3.3.3 企业微信SCRM应用 - 企业微信外部联系人ID

企微导购添加的外部联系人ID会以“客户身份-企业微信外部联系人ID”进行上报,实现OneID打通。

image.png

3.3.4 企业微信SCRM应用 - 导购和导购与好友关系

导购和导购与好友关系数据作为实体同步并存储在CDP中,系统会自动创建该实体,无需手动创建。

image.png

3.3.5 企业微信SCRM应用 - 企微事件

企微相关事件会作为预置事件存在,无需手动创建,配置完成后可实现数据上报到这些事件中。

image.png

3.4 应用数据接入-微信视频号小店

3.4.1 微信视频号小店 - 授权绑定

微信视频号小店应用数据接入,依赖将视频号小店账号授权绑定,才可以获取指定视频号小店应用下的会员数据和会员行为数据。

image.pngimage.png

3.4.2 微信视频号小店 - 会员数据同步

如打开会员数据同步开关,则每日凌晨进行会员数据同步(包含会员的视频号openid/unionid/手机号等客户身份信息),非即时生效。

如关闭会员数据同步开关,则每日凌晨不再进行会员数据同步。

image.png

3.4.3 微信视频号小店 - 会员行为数据同步

如打开会员行为数据同步开关,需指定某一数据上报项目用于承接该应用下的行为日志数据,则开始同步增量会员行为数据,无法对历史会员行为数据进行回溯。

如关闭会员行为数据同步开关,则停止会员行为数据同步。

image.png

会员行为数据同步范围:包括用户加入会员、用户解绑会员、支付订单、支付订单明细、领取优惠券、使用优惠券的行为事件。

image.pngimage.pngimage.png

3.4.4 微信视频号小店 - 查看列表

在微信视频号小店列表页可以查看每个授权绑定的视频号小店的基础信息,包括视频号小店名称、绑定状态、创建人/创建时间、最近修改人/修改时间等。

image.png