在准备环境前提交次全部更改。

2026-02-19 08:35:13 +08:00
parent ded6dfb9d8
commit 4eac07da47
1387 changed files with 6107191 additions and 33002 deletions
--- a/docs/audit/prompt_logs/prompt_log_20260215_212222.md
+++ b/docs/audit/prompt_logs/prompt_log_20260215_212222.md
@@ -0,0 +1,172 @@
+- [P20260215-212222] 2026-02-15 21:22:22 +0800
+  - summary: CONTEXT TRANSFER: We are continuing a conversation that had gotten too long. Here is a summary: --- ## TASK 1: 审查 db 目录并…
+  - prompt:
+```text
+CONTEXT TRANSFER: We are continuing a conversation that had gotten too long. Here is a summary:
+
+---
+## TASK 1: 审查 db 目录并创建/完善数据库结构
+
+**STATUS**: in-progress
+
+**USER QUERIES**: 1 ("审查db目录，并更新/建立相应数据库和数据库的结构属性等内容。完善各个数据库。可以执行SQL指令。密码方面你来设置，我之后修改就好了。"), 2 ("继续，完成后，本项目所有连接配置，各种相关的业务代码也需要处理。")
+
+**DETAILS**:
+
+### 已完成的数据库操作：
+
+1. **创建数据库**（通过 dblink 绕过 MCP 事务限制）：
+   - `etl_feiqiu` — ETL 数据库 ✓
+   - `zqyy_app` — 业务应用数据库 ✓
+
+2. **etl_feiqiu 六层 schema DDL 执行**（全部成功）：
+   - `meta` schema（3 表：etl_task, etl_cursor, etl_run）✓
+   - `ods` schema（23 表）✓
+   - `dwd` schema（40 表）✓
+   - `core` schema（7 表）✓
+   - `dws` schema（30 表）✓
+   - `app` schema（7 视图 + RLS 策略）✓ — 修复了视图列名不匹配问题
+
+3. **zqyy_app 表创建**（11 表全部成功）：
+   - `init.sql`（users/roles/permissions/user_roles/role_permissions/tasks/approvals）✓ — 修复了 BOM 头
+   - `20250715_create_admin_web_tables.sql`（admin_users/task_queue/task_execution_log/scheduled_tasks）✓
+   - `admin_web_seed.sql`（默认管理员）✓
+
+4. **种子数据**：
+   - `seed_ods_tasks.sql` ✓ — 修复 `etl_admin` → `meta`
+   - `seed_scheduler_tasks.sql` ✓ — 修复 `etl_admin` → `meta`
+   - `seed_index_parameters.sql` ✓ — 修复 `billiards_dws` → `dws`
+   - `seed_dws_config.sql` — 整体被注释（有意为之），schema 引用已修复但未执行
+
+5. **应用角色创建**：
+   - `app_reader`（密码：`AppR3ad_2026!`）— ETL 库只读 ✓
+   - `app_user`（密码：`AppUs3r_2026!`）— 业务库应用连接 ✓
+   - 权限授予完成 ✓
+
+6. **FDW 跨库映射**（在 zqyy_app 中）：
+   - `postgres_fdw` 扩展 ✓
+   - `etl_feiqiu_server` 外部服务器（host=100.64.0.4）✓
+   - user mapping: `app_user` → `app_reader`, `local-Python` → `local-Python` ✓
+   - `fdw_etl` schema + 7 个外部表导入 ✓
+
+### SQL 文件修复记录：
+
+- `db/etl_feiqiu/schemas/app.sql` — 修复 4 个视图列名对齐实际 DWS 表结构（v_assistant_daily, v_finance_daily, v_member_consumption, v_order_summary），添加了 CHANGE 注释
+- `db/etl_feiqiu/seeds/seed_ods_tasks.sql` — `etl_admin.etl_task` → `meta.etl_task`
+- `db/etl_feiqiu/seeds/seed_scheduler_tasks.sql` — `etl_admin.etl_task` → `meta.etl_task`
+- `db/etl_feiqiu/seeds/seed_dws_config.sql` — `billiards_dws.` → `dws.`（全文替换）
+- `db/etl_feiqiu/seeds/seed_index_parameters.sql` — `billiards_dws.` → `dws.`（全文替换）
+- `db/zqyy_app/schemas/init.sql` — 移除 UTF-8 BOM 头
+
+### 连接配置修复（已完成）：
+
+- `apps/backend/.env.local` — `ETL_DB_NAME=LLZQ-test` → `ETL_DB_NAME=etl_feiqiu` ✓
+- `.env.template` — 已正确配置 `ETL_DB_NAME=etl_feiqiu` ✓
+- `apps/backend/app/config.py` — 已正确使用新库名 ✓
+- `apps/backend/app/database.py` — 已正确使用新库名 ✓
+
+### ETL 配置修复（刚开始）：
+
+- `apps/etl/pipelines/feiqiu/config/defaults.py` — 修复了 `schema_oltp: "billiards"` → `"ods"`, `schema_etl: "etl_admin"` → `"meta"` ✓
+
+### 尚未完成的代码修复（大量旧 schema 引用）：
+
+通过 grep 发现以下文件仍引用旧 schema 名（`billiards_ods`/`billiards_dwd`/`billiards_dws`/`etl_admin`）：
+
+**GUI 代码（高优先级，大量引用）**：
+- `gui/workers/db_worker.py` — 第127行 `schemas = ["billiards_ods", "billiards_dwd", "billiards_dws", "etl_admin"]` 需改为 `["ods", "dwd", "dws", "meta"]`
+- `gui/workers/task_worker.py` — 多处 `.replace('billiards_dwd.', '')` 需改为 `.replace('dwd.', '')`
+- `gui/widgets/status_panel.py` — SQL 查询中大量 `billiards_ods`/`billiards_dwd`/`billiards_dws`/`etl_admin` 引用
+- `gui/widgets/db_viewer.py` — SQL 查询中 `billiards_ods`/`billiards_dwd`/`etl_admin` 引用
+- `gui/models/task_registry.py` — DwdTableDefinition 中所有 `billiards_dwd.` 前缀需改为 `dwd.`
+
+**ETL 代码（需要进一步搜索）**：
+- ETL 代码中可能还有更多 `billiards_ods`/`billiards_dwd`/`billiards_dws`/`etl_admin` 引用，需要全面搜索 `apps/etl/` 目录
+
+**测试代码**：
+- `tests/test_property_schema_migration.py` — 注释中引用旧 schema 名（低优先级）
+
+**Spec 文档**：
+- `.kiro/specs/admin-web-console/tasks.md` — 引用 `etl_admin.etl_cursor`（低优先级）
+
+### 尚未完成的其他工作：
+
+- `docs/database/` 文档同步更新（db-docs.md 规则要求）
+- MCP postgres 配置可能需要更新（当前连接 `LLZQ-test`，应考虑切换到 `etl_feiqiu`）
+- 运行 `/audit`（高风险变更，governance 规则要求）
+
+**NEXT STEPS**:
+1. 修复 `gui/workers/db_worker.py` — 替换旧 schema 列表
+2. 修复 `gui/workers/task_worker.py` — 替换 `billiards_dwd.` 引用
+3. 修复 `gui/widgets/status_panel.py` — 替换所有旧 schema SQL 查询
+4. 修复 `gui/widgets/db_viewer.py` — 替换所有旧 schema SQL 查询
+5. 修复 `gui/models/task_registry.py` — 替换所有 `billiards_dwd.` 前缀为 `dwd.`
+6. 全面搜索 `apps/etl/` 目录中的旧 schema 引用并修复
+7. 更新 `docs/database/` 文档
+8. 提醒用户运行 `/audit`
+
+**FILEPATHS**:
+- `db/etl_feiqiu/schemas/app.sql` (已修复)
+- `db/etl_feiqiu/seeds/seed_ods_tasks.sql` (已修复)
+- `db/etl_feiqiu/seeds/seed_scheduler_tasks.sql` (已修复)
+- `db/etl_feiqiu/seeds/seed_dws_config.sql` (已修复)
+- `db/etl_feiqiu/seeds/seed_index_parameters.sql` (已修复)
+- `db/zqyy_app/schemas/init.sql` (已修复 BOM)
+- `apps/backend/.env.local` (已修复)
+- `apps/etl/pipelines/feiqiu/config/defaults.py` (已修复)
+- `gui/workers/db_worker.py` (待修复)
+- `gui/workers/task_worker.py` (待修复)
+- `gui/widgets/status_panel.py` (待修复)
+- `gui/widgets/db_viewer.py` (待修复)
+- `gui/models/task_registry.py` (待修复)
+- `scripts/init_databases.py` (工具脚本)
+- `scripts/fix_remaining.py` (工具脚本)
+
+---
+
+## USER CORRECTIONS AND INSTRUCTIONS:
+- 所有说明性文字使用简体中文
+- 密码由 agent 设置（`app_reader`: `AppR3ad_2026!`, `app_user`: `AppUs3r_2026!`），用户之后自行修改
+- 可以直接执行 SQL 指令（通过 MCP postgres 工具，当前连接 `LLZQ-test`，新库操作通过 dblink）
+- 用户选择创建独立数据库方案（不在旧库中并存）
+- `local-Python` 用户是超级用户
+- 变更涉及 DB schema，属于高风险操作，完成后需要运行 `/audit`
+- 按 `db-docs.md` 规则，需同步更新 `docs/database/` 文档
+- 完成数据库后，本项目所有连接配置、各种相关的业务代码也需要处理
+- MCP 工具在事务块中运行，无法直接 `CREATE DATABASE`，需通过 dblink 绕过
+- 系统没有 `psql` 命令行工具，但有 `psycopg2` Python 包可用
+- shell cwd 可能卡在 `apps/admin-web`，执行 Python 脚本需用绝对路径
+
+---
+
+## Files to read
+- `gui/workers/db_worker.py`
+- `gui/workers/task_worker.py`
+- `gui/widgets/status_panel.py`
+- `gui/widgets/db_viewer.py`
+- `gui/models/task_registry.py`
+- `apps/etl/pipelines/feiqiu/config/defaults.py`
+- `apps/backend/.env.local`
+- `.env`
+- `.env.template`
+
+USER QUERIES(most recent first):
+1. 继续，完成后，本项目所有连接配置，各种相关的业务代码也需要处理。
+2. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+3. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+4. 继续，完成后，本项目所有连接配置，各种相关的业务代码也需要处理。
+---
+
+METADATA:
+The previous conversation had 4 messages.
+
+INSTRUCTIONS:
+Continue working until the user query has been fully addressed. Do not ask for clarification - proceed with the work based on the context provided.
+IMPORTANT: you need to read from the files to Read section
+```