Skip to content

第1次技术评审:营销活动中心与主数据对接数据差异问题处理方案 ​

项目内容
日期2026-03-20 11:00 ~ 12:00
参与人韩冬冬、王建朝、张喜、郝梓斐、王凯、马奇
评审结果❌ 不通过,方案完善后再次组织评审
方案文档查看

评审背景 ​

针对主数据与营销活动中心数据不一致的问题,本次会议评审了差异排查方案,讨论了同步性能优化的技术路径及待完善内容。

核心讨论 ​

解决方案 ​

  1. 试点范围:确定以 行政区划 为试点进行差异排查,明确本次方案核心目标是利用全量推送进行差异对比,而非建立长期增量同步机制

  2. 中间表字段:在中间表(data relay)增加 data_create_time 字段,利用全量推送记录当前系统时间,后续通过该字段为 null 识别非主数据源的冗余数据

  3. 冗余数据处理:将中间表中冗余数据状态标记为无效(状态值 3),防止冗余数据同步至业务表

  4. GPS限流优化:针对GPS数据同步引发的限流阻塞问题,方案将 RocketMQ 发送模式由同步改为异步,需要验证异步发送解决数据丢弃问题的技术可行性

  5. 二次校验建议:建议结合业务库的数据更新时间字段进行二次校验,通过比对更新时间范围缩小排查范围,提升排查效率

待办事项 ​

  1. 确认主数据源(高德)推送逻辑(增量/全量)及行政区划数据的变更频率 @韩冬冬
  2. 补充方案文档中的流程图及业务表存量数据清洗的具体逻辑 @韩冬冬
  3. 查阅 RocketMQ 官方文档,验证异步发送方案可行性并补充至文档 @韩冬冬
  4. 代码合并时规避去年未上线的"去掉中间表"遗留逻辑 @韩冬冬 @郝梓斐

决议 ​

  1. ❌ 第1次评审不通过,需补充流程图、业务表清洗逻辑、异步方案可行性验证
  2. 第2次评审见 2026-03-24 主数据差异处理