在准备环境前提交次全部更改。

This commit is contained in:
Neo
2026-02-19 08:35:13 +08:00
parent ded6dfb9d8
commit 4eac07da47
1387 changed files with 6107191 additions and 33002 deletions

View File

@@ -2,14 +2,14 @@
## 作用说明
ETL 数据管线集合。每个上游数据源对应 `pipelines/` 下的一个子目录,当前仅有飞球平台(`feiqiu`)。管线负责从 SaaS API 抽取数据,经 ODS→DWD→Core→DWS 逐层处理后落库。
ETL Connector数据源连接器集合。每个上游数据源对应 `pipelines/` 下的一个子目录(即一个 Connector,当前仅有飞球平台(`feiqiu`)。Connector 负责从 SaaS API 抽取数据,经 ODS→DWD→Core→DWS 逐层处理后落库。
## 内部结构
- `pipelines/feiqiu/` — 飞球平台 ETLapi、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests
- `pipelines/feiqiu/` — 飞球 Connectorapi、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests
## Roadmap
- 将通用抽取/加载逻辑抽离为 `etl_sdk` 共享包,供多管线复用
- 将通用抽取/加载逻辑抽离为 `etl_sdk` 共享包,供多 Connector 复用
- 将各平台 API 客户端拆分为独立 `connectors` 包,实现可插拔数据源接入
- 新增管线时在 `pipelines/` 下创建同构子目录
- 新增 Connector 时在 `pipelines/` 下创建同构子目录