Files
Neo-ZQYY/apps/etl/connectors/feiqiu/scripts
Neo 2a7a5d68aa feat: 2026-04-15~04-20 累积变更基线 — 多主线合流
主线 1: rns1-customer-coach-api + 04-miniapp-core-business 后端实施
  - 新增 GET /xcx/coaches/{id}/banner 轻量接口
  - performance/records 加 coach_id 参数 + view_board_coach 权限分流
  - coach/customer/performance/board/task 服务层重构
  - fdw_queries 结算单粒度聚合 + consumption_summary 视图统一
  - task_generator 回访宽限 72h + UPSERT 替代策略 + Step 5 保底清理
  - recall_detector settle_type=3 双重限制 + 门店级 resolved

主线 2: 小程序权限分流 + 新增 coach-service-records 管理者视角业绩明细页
  - perf-progress 共享模块去重 task-list/coach-detail 动画逻辑
  - isScattered 散客标记端到端
  - foodDetail/phoneFull/creator* 字段透传

主线 3: P19 指数回测框架 Phase 1+2
  - 3 个指数表 stat_date 日快照模式
  - 新增 DWS_INDEX_BACKFILL / DWS_TASK_SIMULATION 工具任务
  - task_engine 升级 HTTP 实时 + 推演回测双模式

主线 4: Core 维度层启用
  - 新增 CORE_DIM_SYNC 任务(DWD → core 4 维度表)
  - 修复 app 视图空查询问题

主线 5: member_project_tag 改为 LAST_30_VISITS 消费次数窗口

主线 6: 2 个迁移 SQL 已执行(stat_date + member_project_tag 新窗口)
  - schema 基线与 DDL 快照同步

主线 7: 开发机路径迁移 C:\NeoZQYY → C:\Project\NeoZQYY(约 95% 改动量)

附带: 新建运维脚本(churned_customer_report / simulate_historical_tasks /
      backfill_index_snapshots)+ tools/task-analysis/ 任务分析工具

合计 157 文件。未包含中间产物(tmp/ .playwright-mcp/ inspect-* excel/sheet 分析 txt)。
审计记录见下一个 commit。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-04-20 06:32:07 +08:00
..

scripts/ — 运维与工具脚本

子目录

目录 用途 典型场景
audit/ 仓库审计(文件清单、调用流、文档对齐分析) python -m scripts.audit.run_audit
check/ 数据检查ODS 缺口、内容哈希、完整性校验) python -m scripts.check.check_data_integrity
db_admin/ 数据库管理Excel 导入 DWS 支出/回款/提成) python scripts/db_admin/import_dws_excel.py --type expense
export/ 数据导出(指数、团购、亲密度、会员明细等) python scripts/export/export_index_tables.py
rebuild/ 数据重建(全量 ODS→DWD 重建) python scripts/rebuild/rebuild_db_and_run_ods_to_dwd.py
repair/ 数据修复回填、去重、hash 修复、维度修复) python scripts/repair/dedupe_ods_snapshots.py

根目录脚本

  • run_update.py — 一键增量更新ODS → DWD → DWS适合 cron/计划任务调用
  • run_ods.bat — Windows 批处理ODS 建表 + 灌入示例 JSON
  • compare_ddl_db.py — DDL 文件与数据库实际表结构对比(支持 --all 对比四个 schema
  • validate_bd_manual.py — BD_Manual 文档体系验证(覆盖率、格式、命名规范)

运行方式

所有脚本在 ETL 子项目根目录(apps/etl/connectors/feiqiu/)执行:

# 审计报告生成
python -m scripts.audit.run_audit

# 一键增量更新
python scripts/run_update.py

# 数据完整性检查(需要数据库连接)
python -m scripts.check.check_data_integrity --window-start "2025-01-01" --window-end "2025-02-01"

注意事项

  • 所有脚本依赖 .env 中的 PG_DSN 配置(或环境变量)
  • rebuild/ 下的脚本会重建 Schema生产环境慎用
  • repair/ 下的脚本会修改数据,建议先 --dry-run(如支持)