Files
Neo-ZQYY/apps/etl
Neo 70324d8542 chore: 文档与 IDE 配置整理
- .kiro/specs/ → docs/specs/(41 个历史需求 spec 迁移,移除 .config.kiro)
- CLAUDE.md 三层拆分:根文件精简 + apps/backend/CLAUDE.md + .claude/commands/
- 新增 /spec-close、/pre-change 两个工作流命令
- DDL 基线刷新(从测试库重新导出 11 个文件,dws 35→38 表,biz 18→21 表)
- BD_Manual → BD_manual 命名统一(48 个文件)
- 修复 3 处文档与数据库不一致(auth.users.status 默认值、scheduled_tasks 字段、RLS 视图数)
- 新增 BD_manual_public_rbac_tables.md(public schema 8 张 RBAC/工作流表)
- 合并 biz.trigger_jobs 文档(10→12 字段,归档独立文档)
- docs/database/README.md 索引更新

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-04-06 00:02:37 +08:00
..

apps/etl/

作用说明

ETL Connector数据源连接器集合。每个上游数据源对应 pipelines/ 下的一个子目录(即一个 Connector当前仅有飞球平台feiqiu。Connector 负责从 SaaS API 抽取数据,经 ODS→DWD→Core→DWS 逐层处理后落库。

内部结构

  • pipelines/feiqiu/ — 飞球 Connectorapi、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests

Roadmap

  • 将通用抽取/加载逻辑抽离为 etl_sdk 共享包,供多 Connector 复用
  • 将各平台 API 客户端拆分为独立 connectors 包,实现可插拔数据源接入
  • 新增 Connector 时在 pipelines/ 下创建同构子目录