1.8 KiB
1.8 KiB
- [P20260216-151130] 2026-02-16 15:11:30 +0800
- summary: 补充：
scripts/ops/gen_full_dataflow_doc.py全链路数据流文档生成器生成的文档样本是：docs\reports\dataflow_api_ods_dwd.md我的原始需求：- 数据源：先明确，JSON是… - prompt:
- summary: 补充：
补充：`scripts/ops/gen_full_dataflow_doc.py` 全链路数据流文档生成器生成的文档样本是：docs\reports\dataflow_api_ods_dwd.md我的原始需求：- 数据源：先明确，JSON是通过API申请的新鲜数据。ODS 和 DWD 是查库得到，不要受到文档和DDL的影响。- API 源字段 表格：数据源：展开全部Json结构，在JSON字段列，要明确展示出层级结构。并且在做这一步时，遍历获取的Json文件，拼合出所有数据记录的最全字段结构，进行数据结构分析。增加列：字段作用列。结合JSON ODS DWD数据及相关文档，说明该字段作用和意义。说明列：改名为 “处理”。被忽略没有处理的字段/目录需要说明好。表格结束进行总结：现在的统计总结不够详细。- ODS DWD 表格：数据源：表中所有列都要列全，无论是源数据还是版本控制等字段。增加列：同上，字段作用列。结合JSON ODS DWD数据及相关文档，说明该字段作用和意义。表格结束进行总结：增加字段统计总结，和上下游情况总结，稍微详细一些。此外，我想将这个分析API的返回数据变化与ETL库字段情况的任务进行规范话化：- 若这些需求，需要你的参与，则写成HOOKs手动执行。- 若python脚本完全能实现，则web-admin任务化，可以定义日期和条数。放在web-admin中管理，保存落盘依据.env，增加一个目录参数，类似：SYSTEM_ANALYZEe_ROOT。用于定义目录路径。