16 lines
660 B
Markdown
16 lines
660 B
Markdown
# apps/etl/
|
||
|
||
## 作用说明
|
||
|
||
ETL 数据管线集合。每个上游数据源对应 `pipelines/` 下的一个子目录，当前仅有飞球平台（`feiqiu`）。管线负责从 SaaS API 抽取数据，经 ODS→DWD→Core→DWS 逐层处理后落库。
|
||
|
||
## 内部结构
|
||
|
||
- `pipelines/feiqiu/` — 飞球平台 ETL（api、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests）
|
||
|
||
## Roadmap
|
||
|
||
- 将通用抽取/加载逻辑抽离为 `etl_sdk` 共享包，供多管线复用
|
||
- 将各平台 API 客户端拆分为独立 `connectors` 包，实现可插拔数据源接入
|
||
- 新增管线时在 `pipelines/` 下创建同构子目录
|