在准备环境前提交次全部更改。
This commit is contained in:
@@ -2,14 +2,14 @@
|
||||
|
||||
## 作用说明
|
||||
|
||||
ETL 数据管线集合。每个上游数据源对应 `pipelines/` 下的一个子目录,当前仅有飞球平台(`feiqiu`)。管线负责从 SaaS API 抽取数据,经 ODS→DWD→Core→DWS 逐层处理后落库。
|
||||
ETL Connector(数据源连接器)集合。每个上游数据源对应 `pipelines/` 下的一个子目录(即一个 Connector),当前仅有飞球平台(`feiqiu`)。Connector 负责从 SaaS API 抽取数据,经 ODS→DWD→Core→DWS 逐层处理后落库。
|
||||
|
||||
## 内部结构
|
||||
|
||||
- `pipelines/feiqiu/` — 飞球平台 ETL(api、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests)
|
||||
- `pipelines/feiqiu/` — 飞球 Connector(api、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests)
|
||||
|
||||
## Roadmap
|
||||
|
||||
- 将通用抽取/加载逻辑抽离为 `etl_sdk` 共享包,供多管线复用
|
||||
- 将通用抽取/加载逻辑抽离为 `etl_sdk` 共享包,供多 Connector 复用
|
||||
- 将各平台 API 客户端拆分为独立 `connectors` 包,实现可插拔数据源接入
|
||||
- 新增管线时在 `pipelines/` 下创建同构子目录
|
||||
- 新增 Connector 时在 `pipelines/` 下创建同构子目录
|
||||
|
||||
Reference in New Issue
Block a user