15 lines
1.7 KiB
Plaintext
15 lines
1.7 KiB
Plaintext
{
|
||
"enabled": true,
|
||
"name": "ETL Data Consistency Check",
|
||
"description": "手动触发 ETL 全链路数据一致性黑盒检查：获取最近一次成功的 ETL 任务，对 API→ODS→DWD→DWS/INDEX 逐表逐字段进行实际数据比对，输出详细的数据差异报告。",
|
||
"version": "1.0.0",
|
||
"when": {
|
||
"type": "userTriggered"
|
||
},
|
||
"then": {
|
||
"type": "askAgent",
|
||
"prompt": "执行 ETL 全链路数据一致性黑盒检查，按以下步骤完成，若发现已完成或有历史任务痕迹则清空，重新执行：\n\n1. 运行 `python scripts/ops/etl_consistency_check.py`\n2. 脚本会自动：\n a. 从 LOG_ROOT 找到最近一次成功的 ETL 日志，解析本次执行的任务列表\n b. 从 FETCH_ROOT 读取本次 ETL 落盘的 API JSON 文件\n c. 连接数据库（PG_DSN），对本次任务涉及的每张表逐字段比对：\n - API JSON vs ODS：字段完整性、值采样比对（随机 5 条记录的关键字段）\n - ODS vs DWD：字段映射正确性、值转换验证（采样比对）\n - DWD vs DWS/INDEX：聚合逻辑验证（行数、关键指标抽查）\n d. 输出 Markdown 报告到 ETL_REPORT_ROOT\n3. 检查报告输出，汇总关键发现\n\n报告结构：\n- 1. ETL 执行概览（任务列表、成功/失败/跳过统计）\n- 2. API↔ODS 数据一致性（逐表逐字段值比对）\n- 3. ODS↔DWD 数据一致性（映射验证 + 值采样）\n- 4. DWD↔DWS 数据一致性（聚合逻辑验证）\n- 5. 异常汇总与建议\n\n注意：使用正式库 PG_DSN 连接（只读模式），不修改任何数据。"
|
||
},
|
||
"workspaceFolderName": "NeoZQYY",
|
||
"shortName": "etl-data-consistency"
|
||
} |