数据管理 · 数据管理

关键能力

源自白皮书「数据管理」章节

异常日志处理

针对异常的日志，有可能在计算过程中报错导致系统异常；连续重试 3 次之后仍无法处理，就直接跳过该行日志，继续往下处理剩余的日志。

历史日志备份

处理成功的历史日志，正常情况下会保留 7 天，可以在异常发生之后对数据进行重跑、修复。

数据库流水 / 结果数据

成功解析日志后，数据首先写入数据库记录访客的访问轨迹数据（流水明细）；再通过计算任务对流水表数据进行抽取、分类、计算入到结果表，提供给前端报表查询。

数据库当日 / 历史数据

数据表分为当日数据与历史数据两类；当日数据只保存当天，在凌晨 5 点启动计算任务把当日数据表转移到历史数据表，永远保持当日数据库表只有当天的数据。

数据库当日 / 历史数据

历史数据均已计算完毕，不会进行大量计算，一般提供给前端报表查询用，兼顾计算性能与查询效率。

数据库当日 / 历史数据

出现异常数据时，可以通过重新跑原始日志、入库然后计算结果，或者基于历史明细数据重新计算结果。

数据管理关键定义（源自白皮书）

指标 / 机制	口径说明
异常日志处理	计算过程报错导致系统异常的日志，连续重试 3 次之后仍无法处理，就直接跳过该行日志，继续处理剩余日志。
历史日志备份	处理成功的历史日志正常情况下保留 7 天，可在异常发生之后对数据进行重跑、修复。
流水明细	成功解析日志后，数据首先写入数据库记录访客的访问轨迹数据，此类数据是流水明细。
结果表	通过计算任务对流水表的数据进行抽取、分类、计算入到结果表，提供给前端报表查询。
当日 / 历史数据	当日数据只保存当天的数据，在凌晨 5 点启动计算任务把当日数据表数据转移到历史数据表中，永远保持当日表只有当天数据。
异常数据修复	通过重新跑原始日志、入库然后计算结果，或者基于历史明细数据重新计算结果。

场景小结

日常运行中，异常日志被自动重试并在 3 次失败后跳过，保证数据处理不中断；凌晨 5 点当日数据自动转入历史表，报表查询始终走轻量历史数据；当某天数据出现偏差时，利用保留 7 天的历史日志重跑，或基于历史明细重新计算结果，快速恢复准确口径。