MongoDB货权经销商名称缺失数据修复方案评审
| 项目 | 内容 |
|---|---|
| 日期 | 2026-05-13 |
| 评审结果 | 通过 |
会议摘要
本次会议主要讨论了MongoDB基础码表中"货权经销商"名称为空的历史数据问题,并确定了通过SQL脚本进行修复的技术方案。
小结
1. 问题背景与目标
- 问题:MongoDB基础码表code_info中存在约73万条数据,其"货权经销商"字段仅有编码而无名称,导致"新鲜度盘点"等报表出现数据异常。
- 目标:修复该数据质量问题,确保盘点报表中的经销商名称正确显示。
2. 解决方案与技术讨论
- 核心思路:将数据修复过程拆分为两个步骤,以降低对MongoDB的压力。
- 第一步:在MySQL的SR临时表中,将缺失的"货权经销商"名称进行补齐。
- 第二步:使用SQL脚本,基于第一步中已补齐数据的SR临时表,直接更新MongoDB中的code_info主数据表。
- 实现方式:经讨论,确认可以通过编写SQL脚本来实现数据更新,无需编写复杂的代码,可由韩冬冬会后完成。
3. 明确后续需求
- 数据范围:需要明确需要修复数据的具体时间范围,以便精准地从SR表中筛选数据。
- StarRocks表优化:会议中发现用于数据抽取的StarRocks表缺少时间戳字段,这是一个模型设计缺陷,需要后续跟进修复。
待办
| 序号 | 待办事项 | 负责人 |
|---|---|---|
| 1 | 明确数据修复范围:韩冬冬需与徐彤老师沟通,明确需要修复数据的精确时间范围(如起止时间戳),以便后续筛选 | @韩冬冬 |
| 2 | 修复StarRocks表结构:韩冬冬需与徐彤老师沟通,推动在StarRocks的盘点明细表中增加时间戳字段,以支持后续的数据抽取和更新 | @韩冬冬 |
| 3 | 编写并评审SQL脚本:韩冬冬需使用Circle工具编写SQL脚本,用于从SR临时表更新MongoDB中的code_info表;编写完成后需同步给马奇,以便组织相关人员进行快速评审 | @韩冬冬 @马奇 |