16 lines
720 B
Markdown
16 lines
720 B
Markdown
# apps/etl/
|
||
|
||
## 作用说明
|
||
|
||
ETL Connector（数据源连接器）集合。每个上游数据源对应 `pipelines/` 下的一个子目录（即一个 Connector），当前仅有飞球平台（`feiqiu`）。Connector 负责从 SaaS API 抽取数据，经 ODS→DWD→Core→DWS 逐层处理后落库。
|
||
|
||
## 内部结构
|
||
|
||
- `pipelines/feiqiu/` — 飞球 Connector（api、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests）
|
||
|
||
## Roadmap
|
||
|
||
- 将通用抽取/加载逻辑抽离为 `etl_sdk` 共享包，供多 Connector 复用
|
||
- 将各平台 API 客户端拆分为独立 `connectors` 包，实现可插拔数据源接入
|
||
- 新增 Connector 时在 `pipelines/` 下创建同构子目录
|