Neo
b25308c3f4
## P1 数据库基础 - zqyy_app: 创建 auth/biz schema、FDW 连接 etl_feiqiu - etl_feiqiu: 创建 app schema RLS 视图、商品库存预警表 - 清理 assistant_abolish 残留数据 ## P2 ETL/DWS 扩展 - 新增 DWS 助教订单贡献度表 (dws.assistant_order_contribution) - 新增 assistant_order_contribution_task 任务及 RLS 视图 - member_consumption 增加充值字段、assistant_daily 增加处罚字段 - 更新 ODS/DWD/DWS 任务文档及业务规则文档 - 更新 consistency_checker、flow_runner、task_registry 等核心模块 ## P3 小程序鉴权系统 - 新增 xcx_auth 路由/schema（微信登录 + JWT） - 新增 wechat/role/matching/application 服务层 - zqyy_app 鉴权表迁移 + 角色权限种子数据 - auth/dependencies.py 支持小程序 JWT 鉴权 ## 文档与审计 - 新增 DOCUMENTATION-MAP 文档导航 - 新增 7 份 BD_Manual 数据库变更文档 - 更新 DDL 基线快照（etl_feiqiu 6 schema + zqyy_app auth） - 新增全栈集成审计记录、部署检查清单更新 - 新增 BACKLOG 路线图、FDW→Core 迁移计划 ## Kiro 工程化 - 新增 5 个 Spec（P1/P2/P3/全栈集成/核心业务） - 新增审计自动化脚本（agent_on_stop/build_audit_context/compliance_prescan） - 新增 6 个 Hook（合规检查/会话日志/提交审计等） - 新增 doc-map steering 文件 ## 运维与测试 - 新增 ops 脚本：迁移验证/API 健康检查/ETL 监控/集成报告 - 新增属性测试：test_dws_contribution / test_auth_system - 清理过期 export 报告文件 - 更新 .gitignore 排除规则
scripts/ — 运维与工具脚本
子目录
| 目录 | 用途 | 典型场景 |
|---|---|---|
audit/ |
仓库审计（文件清单、调用流、文档对齐分析） | python -m scripts.audit.run_audit |
check/ |
数据检查（ODS 缺口、内容哈希、完整性校验） | python -m scripts.check.check_data_integrity |
db_admin/ |
数据库管理（Excel 导入 DWS 支出/回款/提成） | python scripts/db_admin/import_dws_excel.py --type expense |
export/ |
数据导出（指数、团购、亲密度、会员明细等） | python scripts/export/export_index_tables.py |
rebuild/ |
数据重建（全量 ODS→DWD 重建） | python scripts/rebuild/rebuild_db_and_run_ods_to_dwd.py |
repair/ |
数据修复（回填、去重、hash 修复、维度修复） | python scripts/repair/dedupe_ods_snapshots.py |
根目录脚本
run_update.py— 一键增量更新（ODS → DWD → DWS），适合 cron/计划任务调用run_ods.bat— Windows 批处理：ODS 建表 + 灌入示例 JSONcompare_ddl_db.py— DDL 文件与数据库实际表结构对比（支持--all对比四个 schema）validate_bd_manual.py— BD_Manual 文档体系验证（覆盖率、格式、命名规范）
运行方式
所有脚本在 ETL 子项目根目录（apps/etl/connectors/feiqiu/）执行：
# 审计报告生成
python -m scripts.audit.run_audit
# 一键增量更新
python scripts/run_update.py
# 数据完整性检查（需要数据库连接）
python -m scripts.check.check_data_integrity --window-start "2025-01-01" --window-end "2025-02-01"
注意事项
- 所有脚本依赖
.env中的PG_DSN配置（或环境变量） rebuild/下的脚本会重建 Schema，生产环境慎用repair/下的脚本会修改数据，建议先--dry-run（如支持）