init: 项目初始提交 - NeoZQYY Monorepo 完整代码
This commit is contained in:
15
apps/etl/README.md
Normal file
15
apps/etl/README.md
Normal file
@@ -0,0 +1,15 @@
|
||||
# apps/etl/
|
||||
|
||||
## 作用说明
|
||||
|
||||
ETL 数据管线集合。每个上游数据源对应 `pipelines/` 下的一个子目录,当前仅有飞球平台(`feiqiu`)。管线负责从 SaaS API 抽取数据,经 ODS→DWD→Core→DWS 逐层处理后落库。
|
||||
|
||||
## 内部结构
|
||||
|
||||
- `pipelines/feiqiu/` — 飞球平台 ETL(api、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests)
|
||||
|
||||
## Roadmap
|
||||
|
||||
- 将通用抽取/加载逻辑抽离为 `etl_sdk` 共享包,供多管线复用
|
||||
- 将各平台 API 客户端拆分为独立 `connectors` 包,实现可插拔数据源接入
|
||||
- 新增管线时在 `pipelines/` 下创建同构子目录
|
||||
Reference in New Issue
Block a user