1 概述
数据质量主要解决的是客户行为数据、客户资产数据和实体数据上报链路中,对事件和实体漏报、事件和实体的属性值漏报、事件和实体属性值上报格式错误、ID-mapping错误、上报质量差和上报趋势异常等问题,进行主动发现、告警通知、趋势查询和质量监控。帮助客户或前场交付同学高效、快速、准确的识别或排查质量问题,掌握数据上报质量情况,尽早采取措施,减少客诉,提升满意度。
2 数据校验
通过数据校验系统自动识别出:缺失的“事件/事件属性”和“实体/实体属性”;错误的“事件/实体属性类型”;已上报的“事件/实体属性值”为空的问题。
2.1 数据校验 – 数据校验任务 – 新建数据校验任务
新建数据校验任务,校验方式选择“通过线上数据上报进行校验“,选择校验时间起始和截止时间,目前只支持选择时间跨度为7天的时间段进行检测,选择需要检测的数据集和实体,数据集和实体需要至少选择一项,如果同时选择两项则表明需要同时检测用户行为数据和实体数据。提交后完成任务创建,任务转为后台校验流程,可在列表查看校验结果。
2.2 数据校验 – 数据校验任务 – 下载数据校验结果
数据校验任务创建完成,状态为“校验完成“后,可在列表中下载数据校验结果,结果以表格的方式进行呈现。
2.3 数据校验 – 数据校验任务 – 删除数据校验任务
对于不需要的数据校验任务可在列表中进行删除,删除后将无法恢复。
3 告警任务
可对事件和实体上报情况或上报错误率设置告警任务,可选择按小时、天或周来执行告警检查,告警触发通过邮箱或飞书通知到指定用户,帮助客户能够及时发现异常并采取行动。
3.1 告警任务 – 告警任务管理 - 新建告警任务
新建告警任务需要填写基础信息、告警规则和告警触达信息。告警对象中包含:告警名称、告警对象、数据来源、上报段和事件等信息,告警对象中可选择需要告警的对象【事件、实体、分群、标签】。针对【事件】类型的告警,可以选择【数据来源】和【上报端】进一步精确告警事件范围,事件中可选择具体某个事件或全部事件进行告警;针对【实体】类型的告警,只需要选择具体哪个实体即可。告警规则中,针对【事件】类型的告警,可选择【未上报、错误率超过xx%、上报量同比减少xx%】;针对【实体】类型的告警,可选择【未上报、上报错误率大于xx%】;针对【分群】类型的告警,可选择【计算失败、计算结果小于xx%】;针对【标签】类型的告警,可选择【计算失败、计算结果小于xx%】。告警频率支持按照【每小时、每天、每周】进行告警。告警渠道支持【邮箱、企业微信、飞书、钉钉】。告警任务创建完成后默认处于“启用”且生效状态。
3.2 告警任务 – 告警任务管理 – 编辑告警任务
创建完成的告警任务,在列表中可选择具体任务进行编辑,可对任务中所有信息进行编辑,编辑后告警任务立即生效。
3.3 告警任务 – 告警任务管理 – 查看告警任务
创建完成的告警任务,在列表中可选择具体进行查看,告警任务查看页面包含两部分信息:任务详细信息和告警记录明细。
3.4 告警任务 – 告警任务管理 – 删除告警任务
对于不需要的告警任务数据,可以删除告警任务,删除后告警不再执行且数据将无法恢复。
3.5 告警任务 – 告警任务管理 – 停用/启用告警任务
创建完成的告警任务,可以通过停用/启用来控制告警任务是否执行,停用后告警任务将停止执行并告警,启用后又恢复告警。
4 上报监控
能够帮助客户实时并直观的查询和监测到按照事件和实体维度上报的质量情况,比如事件/实体上报总数量、入库数量、异常数量和异常占比等,能够查看异常的详细情况,比如异常类型以及每种异常的占比情况。让客户或BA交付同学掌握事件和实体上报质量,识别上报中的问题,并及时处理异常。
4.1 上报监控 – 上报监控列表
上报监控列表中按照事件维度展示事件的在一定时间范围的总上报数量、入库数量、异常(整体拦截)数量、异常(仅属性拦截数量)和异常占比等指标。
4.2 上报监控 – 上报监控列表 – 查看异常详情
点击列表中查看异常详情,可以查看具体一个事件或实体的异常类型和数据。其中异常详情基本信息展示异常总计信息,异常详情按照异常类型展示异常数量、占比和异常原因。(下图以“事件”为例)