1.5 KiB
1.5 KiB
- [P20260221-113751] 2026-02-21 11:37:51 +0800
- summary: 这是背景信息：export\ETL-Connectors\feiqiu\REPORTS\context_handoff_task2.md修改一个HOOKS：Data Flow Structure Analysis，要求：- 白名单/跳过增加…
- prompt:
这是背景信息：export\ETL-Connectors\feiqiu\REPORTS\context_handoff_task2.md修改一个HOOKS：Data Flow Structure Analysis，要求：- 白名单/跳过增加：DWD的维表SCD2字段。API中siteProfile嵌套信。- 重构所有白名单和被跳过字段的处理逻辑：这些字段都要正常检查，检查时不得跳过！之前用“跳过”一词不严谨，进行修改，之后不使用这个词，只用“白名单”。白名单的作用为：在报告中，1.1 API↔ODS↔DWD 字段对比差异章节下的每项，及3. 逐表详情下的每项，白名单字段不放在详细的表格中，并说明因白名单或其他具体原因，不展开详细信息。增加一个HOOKS，名称来定，其工作方式类似Data Flow Structure Analysis，要求：1 获取上一个执行成功的ETL任务。2 黑盒手段，出具类似export\ETL-Connectors\feiqiu\REPORTS\field_level_report_20260220_233443.md的采样报告。但要比这个详细见下文。3 对本次任务中，API - ODS - DWD - DWS/INDEX 的每个表的每个字段进行检查，进行数据上下流的各表各字段对比 （实际数据库中及实际JSON中比对），看是否在本次任务中，有对不上的数据的情况。并对数据差异进行报告列举。