在前后端开发联调前的提交20260223

2026-02-23 23:02:20 +08:00
parent 254ccb1e77
commit fafc95e64c
1142 changed files with 10366960 additions and 36957 deletions
--- a/docs/audit/prompt_logs/prompt_log_20260221_144505.md
+++ b/docs/audit/prompt_logs/prompt_log_20260221_144505.md
@@ -0,0 +1,222 @@
+- [P20260221-144505] 2026-02-21 14:45:05 +0800
+  - summary: CONTEXT TRANSFER: We are continuing a conversation that had gotten too long. Here is a summary: --- ## TASK 1: 数据流结构分析（采…
+  - prompt:
+```text
+CONTEXT TRANSFER: We are continuing a conversation that had gotten too long. Here is a summary:
+
+---
+## TASK 1: 数据流结构分析（采集 + 报告生成）
+
+**STATUS**: done
+**USER QUERIES**: 1 ("执行数据流结构分析，按以下步骤完成")
+**DETAILS**:
+- 清空了 `SYSTEM_ANALYZE_ROOT` 下的历史数据
+- 第一阶段：运行 `python scripts/ops/analyze_dataflow.py` 完成数据采集，22 张 ODS 表全部成功，日期范围 2025-11-23 ~ 2026-02-21，共 3388 条记录
+- 中间产物已落盘：json_trees(22), db_schemas(62), field_mappings(22), bd_descriptions(22), collection_manifest.json
+- 第二阶段：运行 `python scripts/ops/gen_dataflow_report.py` 生成报告 `dataflow_2026-02-21_142802.md`（517.6 KB, 4372 行）
+- 报告包含所有要求的增强内容：总览表含 API JSON 字段数列、1.1 差异报告（白名单折叠）、2.3 覆盖率表含业务描述列、逐表详情含业务描述+多示例值+锚点链接
+**FILEPATHS**: `scripts/ops/analyze_dataflow.py`, `scripts/ops/gen_dataflow_report.py`, `export/SYSTEM/REPORTS/dataflow_analysis/dataflow_2026-02-21_142802.md`
+
+## TASK 2: 调查 4 个 ODS 字段是否在 DWD 中
+
+**STATUS**: done
+**USER QUERIES**: 2 ("这些字段真的不在DWD中吗"), 3 ("查下映射，临时的DDL，md文档，Prompt历史记录")
+**DETAILS**:
+- 用户质疑报告中 `system_role_id`, `job_num`, `cx_unit_price`, `pd_unit_price` 标记为"⚠️ 无 DWD 目标"
+- 直接查数据库确认：`dwd.dim_assistant`(19列) 和 `dwd.dim_assistant_ex`(48列) 均不含这 4 个字段
+- 但代码层面已做了映射准备：
+  - `dwd_load_task.py` 第 183-186 行已加入 FACT_MAPPINGS
+  - `export_dwd_field_review.py` 和 `gen_field_review_doc.py` 标记为"新增 DWD 列"
+  - `test_property_1_fact_mappings.py` 期望这 4 个字段映射到 dim_assistant_ex
+- 结论：代码侧已更新，DDL 迁移脚本未执行到数据库
+**FILEPATHS**: `apps/etl/connectors/feiqiu/tasks/dwd/dwd_load_task.py`, `scripts/ops/export_dwd_field_review.py`
+
+## TASK 3: 查找同批次所有未落地的字段变更
+
+**STATUS**: done
+**USER QUERIES**: 4 ("同批次修改，还有哪些字段被加入DWD ODS DWS")
+**DETAILS**:
+- 从 `export_dwd_field_review.py` 的 `NEW_FIELDS` 字典提取完整清单
+- A 类（已有 DWD 表新增列）：23 个新增列，分布在 dim_assistant_ex(4), dwd_assistant_service_log_ex(2), dwd_assistant_trash_event_ex(1), dwd_member_balance_change_ex(1), dim_table_ex(14), dim_store_goods_ex(1)
+- 仅补 FACT_MAPPINGS：dwd_recharge_order 的 5 个金额字段
+- C 类新建表：dwd_goods_stock_summary(14列), dwd_goods_stock_movement(19列)
+- 跳过的字段：4 个（列名冲突或 ODS 列不存在）
+- 还有 DWS 层：dws_goods_stock_daily/weekly/monthly_summary 3 张新表
+**FILEPATHS**: `scripts/ops/export_dwd_field_review.py`
+
+## TASK 4: 执行迁移脚本落地到数据库 + 同步 DDL 文件
+
+**STATUS**: in-progress
+**USER QUERIES**: 5 ("迁移，落地，补充到DDL文件")
+**DETAILS**:
+- 发现 `db/etl_feiqiu/migrations/` 下已有 10 个 2026-02-20 日期的迁移脚本，全部已写好但未执行到数据库
+- 已读取所有迁移脚本内容确认正确性
+- 迁移脚本清单（均使用 `IF NOT EXISTS` / `IF EXISTS` 保证幂等）：
+  1. `2026-02-20__add_dim_assistant_ex_fields.sql` — dim_assistant_ex 加 4 列
+  2. `2026-02-20__add_assistant_service_log_ex_fields.sql` — dwd_assistant_service_log_ex 加 2 列
+  3. `2026-02-20__add_dim_table_ex_fields.sql` — dim_table_ex 加 14 列
+  4. `2026-02-20__add_member_balance_change_ex_relate_id.sql` — dwd_member_balance_change_ex 加 1 列
+  5. `2026-02-20__create_dwd_goods_stock_summary.sql` — 新建 dwd_goods_stock_summary
+  6. `2026-02-20__create_dwd_goods_stock_movement.sql` — 新建 dwd_goods_stock_movement
+  7. `2026-02-20__create_dws_goods_stock_summary.sql` — 新建 3 张 DWS 库存汇总表
+  8. `2026-02-20__fix_assistant_service_site_assistant_id.sql` — 修正 COMMENT
+  9. `2026-02-20__fix_store_goods_master_mapping.sql` — 修正 COMMENT
+  10. `2026-02-20__fix_store_goods_sale_discount_price.sql` — 重命名列 + 新增列
+  11. `2026-02-20__remove_settlement_ticket_details.sql` — 删除废弃表
+- dim_store_goods_ex 的 `batch_stock_quantity` 列在 `NEW_FIELDS` 中定义但没有对应的迁移脚本，需要新建
+- 尚未开始执行任何迁移
+- db-docs.md steering 要求：迁移后必须同步更新 `docs/database/` 文档
+
+**NEXT STEPS**:
+1. 写一个 Python 脚本按顺序执行所有 2026-02-20 迁移到测试库（`TEST_DB_DSN`）
+2. 为 `dim_store_goods_ex.batch_stock_quantity` 补写迁移脚本（在 `NEW_FIELDS` 中有但无对应 .sql）
+3. 执行迁移并验证（每个脚本的验证 SQL 已内嵌在注释中）
+4. 同步 DDL 文件：更新 `db/etl_feiqiu/schemas/dwd.sql` 和 `db/etl_feiqiu/schemas/schema_dwd_doc.sql`，加入新增的列和表定义
+5. 同步 DWS DDL：更新 `db/etl_feiqiu/schemas/dws.sql` 或 `db/etl_feiqiu/schemas/schema_dws.sql`
+6. 更新 `docs/database/` 文档（db-docs.md steering 要求）
+
+**FILEPATHS**:
+- `db/etl_feiqiu/migrations/2026-02-20__add_dim_assistant_ex_fields.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__add_assistant_service_log_ex_fields.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__add_dim_table_ex_fields.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__add_member_balance_change_ex_relate_id.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__create_dwd_goods_stock_summary.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__create_dwd_goods_stock_movement.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__create_dws_goods_stock_summary.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__fix_assistant_service_site_assistant_id.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__fix_store_goods_master_mapping.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__fix_store_goods_sale_discount_price.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__remove_settlement_ticket_details.sql`
+- `db/etl_feiqiu/schemas/dwd.sql`
+- `db/etl_feiqiu/schemas/schema_dwd_doc.sql`
+- `db/etl_feiqiu/schemas/dws.sql`
+- `db/etl_feiqiu/schemas/schema_dws.sql`
+- `scripts/ops/export_dwd_field_review.py`
+
+## USER CORRECTIONS AND INSTRUCTIONS:
+- 所有对话和文档使用简体中文
+- 测试/验证必须使用测试库 `TEST_DB_DSN`（`test_etl_feiqiu`），不能用正式库
+- 脚本执行 cwd 在项目根目录 `C:\NeoZQYY`
+- 复杂操作写 Python 脚本执行，避免 PowerShell 多行字符串转义问题
+- 输出路径必须从 `.env` 环境变量读取，禁止硬编码
+- DB schema 变更后必须同步 `docs/database/` 文档（db-docs.md steering）
+- 变更需审计（governance.md），但审计由用户手动触发 `/audit`
+- MCP PostgreSQL 工具连接可能断开（之前遇到 "Not connected" 错误），需要用 psycopg2 直接连接作为备选
+
+## Files to read
+- `db/etl_feiqiu/migrations/2026-02-20__add_dim_assistant_ex_fields.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__add_dim_table_ex_fields.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__create_dwd_goods_stock_summary.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__create_dwd_goods_stock_movement.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__create_dws_goods_stock_summary.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__fix_store_goods_sale_discount_price.sql`
+- `db/etl_feiqiu/migrations/2026-02-20__remove_settlement_ticket_details.sql`
+- `db/etl_feiqiu/schemas/dwd.sql`
+- `db/etl_feiqiu/schemas/schema_dwd_doc.sql`
+- `scripts/ops/export_dwd_field_review.py`
+- `.env`
+
+USER QUERIES(most recent first):
+1. 迁移，落地，补充到DDL文件。
+2. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+3. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+4. 迁移，落地，补充到DDL文件。
+5. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+6. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+7. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+8. 同批次修改，还有哪些字段被加入DWD ODS DWS?
+9. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+10. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+11. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+12. 不用，查下映射，临时的DDL，md文档，Prompt历史记录也没有相关记录么？
+13. Output:
+Hook execution failed with exit code 1.
+
+Error output:
+[AUDIT REMINDER] Pending audit detected (root-file, dir:admin-web, dir:backend, dir:db, db-schema-change). Run /audit (Manual: Run /audit hook) to sync docs & write audit artifacts. (rate limit: 15min)
+
+
+
+Exit Code: 1
+14. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+15. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+16. ODS→DWD 未映射 — 4 个#ODS 列说明状态1system_role_id标识类 ID 字段，用于关联/定位相关实体⚠️ 无 DWD 目标2job_num备用工号字段，目前未在该门店启用⚠️ 无 DWD 目标3cx_unit_price促销时段的单价，本门店未在账号表层面设置⚠️ 无 DWD 目标4pd_unit_price某种标准单价（例如“普通时段单价”），这里未在账号上配置（实际单价在助教商...⚠️ 无 DWD 目标这些字段真的不在DWD中吗？我记得有次更新加入DWD了啊！
+17. <source-event>
+    The user manually invoked this action
+    The user is focued on the following file: apps/etl/connectors/feiqiu/.env
+    The user has the following paths open: apps/etl/connectors/feiqiu/.env
+</source-event>
+
+执行数据流结构分析，按以下步骤完成。若发现已完成或有历史任务痕迹则清空，重新执行：
+
+第一阶段：数据采集
+1. 运行 `python scripts/ops/analyze_dataflow.py` 完成数据采集（如需指定日期范围，加 --date-from / --date-to 参数）
+2. 确认采集结果已落盘，包括：
+   - json_trees/（含 samples 多示例值）
+   - db_schemas/
+   - field_mappings/（三层映射 + 锚点）
+   - bd_descriptions/（BD_manual 业务描述）
+   - collection_manifest.json（含 json_field_count、date_from、date_to）
+
+第二阶段：报告生成
+3. 运行 `python scripts/ops/gen_dataflow_report.py` 生成 Markdown 报告
+4. 报告包含以下增强内容：
+   - 报告头含 API 请求日期范围（date_from ~ date_to）和 JSON 数据总量
+   - 总览表含 API JSON 字段数列
+   - 1.1 API↔ODS↔DWD 字段对比差异报告（白名单字段折叠汇总，不展开详细表格行）
+   - 2.3 覆盖率表含业务描述列
+   - API 源字段表含业务描述列 + 多示例值（枚举值解释）
+   - ODS 表结构含业务描述列 + 上下游双向映射锚点链接
+   - DWD 表结构含业务描述列 + ODS 来源锚点链接
+5. 输出文件路径和关键统计摘要
+
+白名单规则（v4）：
+- ETL 元数据列（source_file, source_endpoint, fetched_at, payload, content_hash）
+- DWD 维表 SCD2 管理列（valid_from, valid_to, is_current, etl_loaded_at, etl_batch_id）
+- API siteProfile 嵌套对象字段
+- 白名单字段仍正常参与检查和统计，仅在报告中折叠显示并注明原因
+
+注意：当前仅分析飞球（feiqiu）连接器。未来新增连接器时，应自动发现并纳入分析范围。
+18. <implicit-rules>## Implicit Rules
+Focus on creating a new spec file or identifying an existing spec to update. 
+If starting a new spec, create a requirements.md file in the .kiro/specs directory with clear user stories and acceptance criteria. 
+If working with an existing spec, review the current requirements and suggest improvements if needed. 
+Do not make direct code changes yet. First establish or review the spec file that will guide our implementation.</implicit-rules>
+---
+
+METADATA:
+The previous conversation had 10 messages.
+
+INSTRUCTIONS:
+Continue working until the user query has been fully addressed. Do not ask for clarification - proceed with the work based on the context provided.
+IMPORTANT: you need to read from the files to Read section