8.1 KiB
8.1 KiB
- [P20260215-212222] 2026-02-15 21:22:22 +0800
- summary: CONTEXT TRANSFER: We are continuing a conversation that had gotten too long. Here is a summary: --- ## TASK 1: 审查 db 目录并…
- prompt:
CONTEXT TRANSFER: We are continuing a conversation that had gotten too long. Here is a summary:
---
## TASK 1: 审查 db 目录并创建/完善数据库结构
**STATUS**: in-progress
**USER QUERIES**: 1 ("审查db目录，并更新/建立相应数据库和数据库的结构属性等内容。完善各个数据库。可以执行SQL指令。密码方面你来设置，我之后修改就好了。"), 2 ("继续，完成后，本项目所有连接配置，各种相关的业务代码也需要处理。")
**DETAILS**:
### 已完成的数据库操作：
1. **创建数据库**（通过 dblink 绕过 MCP 事务限制）：
- `etl_feiqiu` — ETL 数据库 ✓
- `zqyy_app` — 业务应用数据库 ✓
2. **etl_feiqiu 六层 schema DDL 执行**（全部成功）：
- `meta` schema（3 表：etl_task, etl_cursor, etl_run）✓
- `ods` schema（23 表）✓
- `dwd` schema（40 表）✓
- `core` schema（7 表）✓
- `dws` schema（30 表）✓
- `app` schema（7 视图 + RLS 策略）✓ — 修复了视图列名不匹配问题
3. **zqyy_app 表创建**（11 表全部成功）：
- `init.sql`（users/roles/permissions/user_roles/role_permissions/tasks/approvals）✓ — 修复了 BOM 头
- `20250715_create_admin_web_tables.sql`（admin_users/task_queue/task_execution_log/scheduled_tasks）✓
- `admin_web_seed.sql`（默认管理员）✓
4. **种子数据**：
- `seed_ods_tasks.sql` ✓ — 修复 `etl_admin` → `meta`
- `seed_scheduler_tasks.sql` ✓ — 修复 `etl_admin` → `meta`
- `seed_index_parameters.sql` ✓ — 修复 `billiards_dws` → `dws`
- `seed_dws_config.sql` — 整体被注释（有意为之），schema 引用已修复但未执行
5. **应用角色创建**：
- `app_reader`（密码：`AppR3ad_2026!`）— ETL 库只读 ✓
- `app_user`（密码：`AppUs3r_2026!`）— 业务库应用连接 ✓
- 权限授予完成 ✓
6. **FDW 跨库映射**（在 zqyy_app 中）：
- `postgres_fdw` 扩展 ✓
- `etl_feiqiu_server` 外部服务器（host=100.64.0.4）✓
- user mapping: `app_user` → `app_reader`, `local-Python` → `local-Python` ✓
- `fdw_etl` schema + 7 个外部表导入 ✓
### SQL 文件修复记录：
- `db/etl_feiqiu/schemas/app.sql` — 修复 4 个视图列名对齐实际 DWS 表结构（v_assistant_daily, v_finance_daily, v_member_consumption, v_order_summary），添加了 CHANGE 注释
- `db/etl_feiqiu/seeds/seed_ods_tasks.sql` — `etl_admin.etl_task` → `meta.etl_task`
- `db/etl_feiqiu/seeds/seed_scheduler_tasks.sql` — `etl_admin.etl_task` → `meta.etl_task`
- `db/etl_feiqiu/seeds/seed_dws_config.sql` — `billiards_dws.` → `dws.`（全文替换）
- `db/etl_feiqiu/seeds/seed_index_parameters.sql` — `billiards_dws.` → `dws.`（全文替换）
- `db/zqyy_app/schemas/init.sql` — 移除 UTF-8 BOM 头
### 连接配置修复（已完成）：
- `apps/backend/.env.local` — `ETL_DB_NAME=LLZQ-test` → `ETL_DB_NAME=etl_feiqiu` ✓
- `.env.template` — 已正确配置 `ETL_DB_NAME=etl_feiqiu` ✓
- `apps/backend/app/config.py` — 已正确使用新库名 ✓
- `apps/backend/app/database.py` — 已正确使用新库名 ✓
### ETL 配置修复（刚开始）：
- `apps/etl/pipelines/feiqiu/config/defaults.py` — 修复了 `schema_oltp: "billiards"` → `"ods"`, `schema_etl: "etl_admin"` → `"meta"` ✓
### 尚未完成的代码修复（大量旧 schema 引用）：
通过 grep 发现以下文件仍引用旧 schema 名（`billiards_ods`/`billiards_dwd`/`billiards_dws`/`etl_admin`）：
**GUI 代码（高优先级，大量引用）**：
- `gui/workers/db_worker.py` — 第127行 `schemas = ["billiards_ods", "billiards_dwd", "billiards_dws", "etl_admin"]` 需改为 `["ods", "dwd", "dws", "meta"]`
- `gui/workers/task_worker.py` — 多处 `.replace('billiards_dwd.', '')` 需改为 `.replace('dwd.', '')`
- `gui/widgets/status_panel.py` — SQL 查询中大量 `billiards_ods`/`billiards_dwd`/`billiards_dws`/`etl_admin` 引用
- `gui/widgets/db_viewer.py` — SQL 查询中 `billiards_ods`/`billiards_dwd`/`etl_admin` 引用
- `gui/models/task_registry.py` — DwdTableDefinition 中所有 `billiards_dwd.` 前缀需改为 `dwd.`
**ETL 代码（需要进一步搜索）**：
- ETL 代码中可能还有更多 `billiards_ods`/`billiards_dwd`/`billiards_dws`/`etl_admin` 引用，需要全面搜索 `apps/etl/` 目录
**测试代码**：
- `tests/test_property_schema_migration.py` — 注释中引用旧 schema 名（低优先级）
**Spec 文档**：
- `.kiro/specs/admin-web-console/tasks.md` — 引用 `etl_admin.etl_cursor`（低优先级）
### 尚未完成的其他工作：
- `docs/database/` 文档同步更新（db-docs.md 规则要求）
- MCP postgres 配置可能需要更新（当前连接 `LLZQ-test`，应考虑切换到 `etl_feiqiu`）
- 运行 `/audit`（高风险变更，governance 规则要求）
**NEXT STEPS**:
1. 修复 `gui/workers/db_worker.py` — 替换旧 schema 列表
2. 修复 `gui/workers/task_worker.py` — 替换 `billiards_dwd.` 引用
3. 修复 `gui/widgets/status_panel.py` — 替换所有旧 schema SQL 查询
4. 修复 `gui/widgets/db_viewer.py` — 替换所有旧 schema SQL 查询
5. 修复 `gui/models/task_registry.py` — 替换所有 `billiards_dwd.` 前缀为 `dwd.`
6. 全面搜索 `apps/etl/` 目录中的旧 schema 引用并修复
7. 更新 `docs/database/` 文档
8. 提醒用户运行 `/audit`
**FILEPATHS**:
- `db/etl_feiqiu/schemas/app.sql` (已修复)
- `db/etl_feiqiu/seeds/seed_ods_tasks.sql` (已修复)
- `db/etl_feiqiu/seeds/seed_scheduler_tasks.sql` (已修复)
- `db/etl_feiqiu/seeds/seed_dws_config.sql` (已修复)
- `db/etl_feiqiu/seeds/seed_index_parameters.sql` (已修复)
- `db/zqyy_app/schemas/init.sql` (已修复 BOM)
- `apps/backend/.env.local` (已修复)
- `apps/etl/pipelines/feiqiu/config/defaults.py` (已修复)
- `gui/workers/db_worker.py` (待修复)
- `gui/workers/task_worker.py` (待修复)
- `gui/widgets/status_panel.py` (待修复)
- `gui/widgets/db_viewer.py` (待修复)
- `gui/models/task_registry.py` (待修复)
- `scripts/init_databases.py` (工具脚本)
- `scripts/fix_remaining.py` (工具脚本)
---
## USER CORRECTIONS AND INSTRUCTIONS:
- 所有说明性文字使用简体中文
- 密码由 agent 设置（`app_reader`: `AppR3ad_2026!`, `app_user`: `AppUs3r_2026!`），用户之后自行修改
- 可以直接执行 SQL 指令（通过 MCP postgres 工具，当前连接 `LLZQ-test`，新库操作通过 dblink）
- 用户选择创建独立数据库方案（不在旧库中并存）
- `local-Python` 用户是超级用户
- 变更涉及 DB schema，属于高风险操作，完成后需要运行 `/audit`
- 按 `db-docs.md` 规则，需同步更新 `docs/database/` 文档
- 完成数据库后，本项目所有连接配置、各种相关的业务代码也需要处理
- MCP 工具在事务块中运行，无法直接 `CREATE DATABASE`，需通过 dblink 绕过
- 系统没有 `psql` 命令行工具，但有 `psycopg2` Python 包可用
- shell cwd 可能卡在 `apps/admin-web`，执行 Python 脚本需用绝对路径
---
## Files to read
- `gui/workers/db_worker.py`
- `gui/workers/task_worker.py`
- `gui/widgets/status_panel.py`
- `gui/widgets/db_viewer.py`
- `gui/models/task_registry.py`
- `apps/etl/pipelines/feiqiu/config/defaults.py`
- `apps/backend/.env.local`
- `.env`
- `.env.template`
USER QUERIES(most recent first):
1. 继续，完成后，本项目所有连接配置，各种相关的业务代码也需要处理。
2. Output:
Command executed successfully with no output.
Exit Code: 0
3. Output:
Command executed successfully with no output.
Exit Code: 0
4. 继续，完成后，本项目所有连接配置，各种相关的业务代码也需要处理。
---
METADATA:
The previous conversation had 4 messages.
INSTRUCTIONS:
Continue working until the user query has been fully addressed. Do not ask for clarification - proceed with the work based on the context provided.
IMPORTANT: you need to read from the files to Read section