第1次技术评审:营销活动中心与主数据对接数据差异问题处理方案
| 项目 | 内容 |
|---|---|
| 日期 | 2026-03-20 11:00 ~ 12:00 |
| 参与人 | 韩冬冬、王建朝、张喜、郝梓斐、王凯、马奇 |
| 评审结果 | ❌ 不通过,方案完善后再次组织评审 |
| 方案文档 | 查看 |
评审背景
针对主数据与营销活动中心数据不一致的问题,本次会议评审了差异排查方案,讨论了同步性能优化的技术路径及待完善内容。
核心讨论
解决方案
试点范围:确定以 行政区划 为试点进行差异排查,明确本次方案核心目标是利用全量推送进行差异对比,而非建立长期增量同步机制
中间表字段:在中间表(data relay)增加
data_create_time字段,利用全量推送记录当前系统时间,后续通过该字段为 null 识别非主数据源的冗余数据冗余数据处理:将中间表中冗余数据状态标记为无效(状态值 3),防止冗余数据同步至业务表
GPS限流优化:针对GPS数据同步引发的限流阻塞问题,方案将 RocketMQ 发送模式由同步改为异步,需要验证异步发送解决数据丢弃问题的技术可行性
二次校验建议:建议结合业务库的数据更新时间字段进行二次校验,通过比对更新时间范围缩小排查范围,提升排查效率
待办事项
- 确认主数据源(高德)推送逻辑(增量/全量)及行政区划数据的变更频率 @韩冬冬
- 补充方案文档中的流程图及业务表存量数据清洗的具体逻辑 @韩冬冬
- 查阅 RocketMQ 官方文档,验证异步发送方案可行性并补充至文档 @韩冬冬
- 代码合并时规避去年未上线的"去掉中间表"遗留逻辑 @韩冬冬 @郝梓斐
决议
- ❌ 第1次评审不通过,需补充流程图、业务表清洗逻辑、异步方案可行性验证
- 第2次评审见 2026-03-24 主数据差异处理