在准备环境前提交次全部更改。

2026-02-19 08:35:13 +08:00
parent ded6dfb9d8
commit 4eac07da47
1387 changed files with 6107191 additions and 33002 deletions
--- a/docs/audit/prompt_logs/prompt_log_20260219_070321.md
+++ b/docs/audit/prompt_logs/prompt_log_20260219_070321.md
@@ -0,0 +1,146 @@
+- [P20260219-070321] 2026-02-19 07:03:21 +0800
+  - summary: CONTEXT TRANSFER: We are continuing a conversation that had gotten too long. Here is a summary: --- ## TASK 1: Admin-web…
+  - prompt:
+```text
+CONTEXT TRANSFER: We are continuing a conversation that had gotten too long. Here is a summary:
+
+---
+## TASK 1: Admin-web 同步检查与 Bug 修复（ETL 重构后）
+
+- **STATUS**: done
+- **USER QUERIES**: 1 (from previous context transfer)
+- **DETAILS**: 在大量 ETL 重构后，全面检查并修复了 admin-web 前端与后端的同步问题。共 12 处修复，构建验证通过。
+- **FILEPATHS**: `apps/backend/app/config.py`, `apps/backend/app/services/cli_builder.py`, `apps/backend/app/schemas/tasks.py`, `apps/admin-web/src/api/tasks.ts`, `apps/admin-web/src/pages/LogViewer.tsx`, `apps/admin-web/src/pages/TaskConfig.tsx`, `apps/admin-web/src/types/index.ts`, `apps/admin-web/src/components/ScheduleTab.tsx`, `apps/admin-web/src/store/authStore.ts`, `apps/admin-web/vite.config.ts`
+
+---
+
+## TASK 2: ETL 执行深度分析 + Bug 修复
+
+- **STATUS**: done
+- **USER QUERIES**: 2-6 (from previous context transfer)
+- **DETAILS**: 用户从 admin-web 执行 api_full 任务，16.8 秒就"完成"，用户质疑。深度分析发现 5 个关键问题并全部修复：
+
+### 已修复的 5 个问题：
+
+1. **根因（P0）：admin_users.site_id 不匹配** — JWT 中 `site_id=1`，但 `meta.etl_task` 中任务注册的 `store_id=2790685415443269`。CLI 命令 `--store-id 1` 导致 `_load_task_config` 查询不到任何任务，23 个 ODS 任务全部被跳过。
+   - 修复：运行 `scripts/ops/fix_admin_site_id.py` 将 `admin_users.site_id` 从 1 更新为 2790685415443269
+   - 用户需要重新登录获取新 JWT
+
+2. **OdsJsonArchiveTask 缺少 load() 方法** — `BaseTask.execute()` 模板方法调用 `extract → transform → load`，但 `OdsJsonArchiveTask` 只实现了 `extract()`，`load()` 抛 `NotImplementedError`
+   - 修复：在 `ods_json_archive_task.py` 添加了 `load()` 方法，返回 extract 阶段的统计信息
+
+3. **DWD 校验器 fatal 中止逻辑过于激进** — `ValueError: year -1 is out of range`（数据质量问题）被包装为 `VerificationFetchError` 后标记 `fatal=True`，导致剩余 34 张表全部跳过
+   - 修复：在 `base_verifier.py` 的 `verify_table` 中区分连接类异常和数据质量异常（`ValueError`/`TypeError`/`OverflowError`），后者不标记 fatal
+
+4. **LogViewer 历史日志只显示 stdout（为空）** — Python logging 默认输出到 stderr，但 `handleLoadHistory` 只读 `data.output_log`
+   - 修复：合并 `output_log` 和 `error_log` 显示
+
+5. **DWS/INDEX 层跳过** — `flow_runner.py` 硬编码跳过，设计如此，暂不修复
+
+### 验证结果：
+- ETL 单元测试：172 passed, 1 failed（已有 bug：`test_cli_args.py` 中 `_make_args` 缺少 `force_full` 属性，非本次修改引起）
+- 前端构建：`pnpm run build` 成功
+
+- **FILEPATHS**: `apps/etl/connectors/feiqiu/tasks/ods/ods_json_archive_task.py`, `apps/etl/connectors/feiqiu/tasks/verification/base_verifier.py`, `apps/admin-web/src/pages/LogViewer.tsx`, `scripts/ops/fix_admin_site_id.py`
+
+---
+
+## TASK 3: Admin-web 全面优化
+
+- **STATUS**: in-progress
+- **USER QUERIES**: 7 ("全部功能是否都做了测试？包括调度类型的周期任务？优化：admin-web中应该可以选择连接器和storeid的，默认全选。默认展示拼接的CLI并支持手动编辑。优化所有页面：信息分层，布局合理，交互友好，页面规整美化。")
+- **DETAILS**: 已读取所有 admin-web 页面和组件的完整源码，准备开始大规模 UI 优化。尚未开始任何代码修改。
+
+### 用户要求的优化点：
+1. **连接器和 store_id 选择** — TaskConfig 页面应支持选择连接器和 store_id，默认全选
+2. **CLI 命令预览** — 默认展示拼接的 CLI 命令并支持手动编辑（当前是 Modal 弹窗预览，不可编辑）
+3. **全页面优化** — 信息分层、布局合理、交互友好、页面规整美化
+4. **调度功能测试** — 确认周期任务调度是否正常工作
+
+### 已读取的文件（全部源码已了解）：
+- 6 个页面：TaskConfig, TaskManager, ETLStatus, Login, EnvConfig, DBViewer, LogViewer
+- 5 个组件：TaskSelector, DwdTableSelector, ScheduleTab, LogStream, ErrorBoundary
+- 7 个 API 模块：client, tasks, execution, schedules, etlStatus, envConfig, dbViewer
+- 类型定义：types/index.ts
+- 主布局：App.tsx
+
+- **NEXT STEPS**:
+  * 读取尚未读取的组件文件：`TaskSelector.tsx`, `DwdTableSelector.tsx`, `ScheduleTab.tsx`, `LogStream.tsx`
+  * TaskConfig 页面：添加连接器/store_id 选择器（默认全选），将 CLI 预览从 Modal 改为页面内嵌可编辑区域
+  * 所有页面 UI 优化：信息分层、布局合理、交互友好、页面规整美化
+  * 测试调度功能（ScheduleTab）是否正常工作
+  * 前端构建验证
+
+- **FILEPATHS**: `apps/admin-web/src/pages/TaskConfig.tsx`, `apps/admin-web/src/pages/TaskManager.tsx`, `apps/admin-web/src/pages/ETLStatus.tsx`, `apps/admin-web/src/pages/Login.tsx`, `apps/admin-web/src/pages/EnvConfig.tsx`, `apps/admin-web/src/pages/DBViewer.tsx`, `apps/admin-web/src/pages/LogViewer.tsx`, `apps/admin-web/src/components/ScheduleTab.tsx`, `apps/admin-web/src/components/TaskSelector.tsx`, `apps/admin-web/src/components/DwdTableSelector.tsx`, `apps/admin-web/src/components/LogStream.tsx`, `apps/admin-web/src/App.tsx`, `apps/admin-web/src/types/index.ts`, `apps/admin-web/src/api/tasks.ts`, `apps/admin-web/src/api/execution.ts`, `apps/admin-web/src/api/schedules.ts`
+
+---
+
+## USER CORRECTIONS AND INSTRUCTIONS:
+- 所有说明性文字使用简体中文
+- 后端用 `uv run` 启动（不是直接 `python`）
+- 前端用 `pnpm` 管理
+- 后端进程运行在端口 8000（`uv run uvicorn app.main:app --reload --port 8000`，cwd: `apps/backend`）
+- 前端进程运行在端口 5174（`pnpm run dev`，cwd: `apps/admin-web`）
+- ETL 项目实际路径是 `apps/etl/connectors/feiqiu/`
+- 浏览器中 localStorage 的 token key 是 `access_token`
+- MCP postgres 连接的是旧数据库（有 billiards_ods/billiards_dwd/billiards_dws schema），不是 ETL 使用的 meta schema 所在数据库
+- 脚本执行规范：优先编写 Python 脚本再执行，避免 PowerShell 复杂逻辑
+- `admin_users.site_id` 已从 1 修复为 2790685415443269，用户需要重新登录
+- 已有测试 bug：`test_cli_args.py::TestBuildCliOverrides::test_data_source_online_sets_run_key` 失败（`force_full` 属性缺失），非本次修改引起
+
+---
+
+## Files to read
+- `apps/admin-web/src/pages/TaskConfig.tsx`
+- `apps/admin-web/src/pages/TaskManager.tsx`
+- `apps/admin-web/src/pages/ETLStatus.tsx`
+- `apps/admin-web/src/pages/LogViewer.tsx`
+- `apps/admin-web/src/pages/DBViewer.tsx`
+- `apps/admin-web/src/pages/EnvConfig.tsx`
+- `apps/admin-web/src/pages/Login.tsx`
+- `apps/admin-web/src/components/ScheduleTab.tsx`
+- `apps/admin-web/src/components/TaskSelector.tsx`
+- `apps/admin-web/src/components/DwdTableSelector.tsx`
+- `apps/admin-web/src/components/LogStream.tsx`
+- `apps/admin-web/src/App.tsx`
+- `apps/admin-web/src/types/index.ts`
+- `apps/admin-web/src/api/tasks.ts`
+- `apps/admin-web/src/api/execution.ts`
+- `apps/admin-web/src/api/schedules.ts`
+- `apps/admin-web/src/api/client.ts`
+- `apps/backend/app/schemas/tasks.py`
+- `apps/backend/app/services/cli_builder.py`
+- `apps/backend/app/routers/execution.py`
+
+USER QUERIES(most recent first):
+1. 问题：全部功能是否都做了测试？包括调度类型的周期任务？优化：- admin-web中，应该可以选择连接器和storeid的，默认全选。- 默认展示拼接的CLI并支持手动编辑。- 优化所有页面：信息分层，布局合理，交互友好，页面规整美化。
+2. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+3. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+4. 问题：全部功能是否都做了测试？包括调度类型的周期任务？优化：- admin-web中，应该可以选择连接器和storeid的，默认全选。- 默认展示拼接的CLI并支持手动编辑。- 优化所有页面：信息分层，布局合理，交互友好，页面规整美化。
+5. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+6. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+7. Output:
+Command executed successfully with no output.
+
+Exit Code: 0
+---
+
+METADATA:
+The previous conversation had 4 messages.
+
+INSTRUCTIONS:
+Continue working until the user query has been fully addressed. Do not ask for clarification - proceed with the work based on the context provided.
+IMPORTANT: you need to read from the files to Read section
+```