apps/etl/
作用说明
ETL Connector(数据源连接器)集合。每个上游数据源对应 pipelines/ 下的一个子目录(即一个 Connector),当前仅有飞球平台(feiqiu)。Connector 负责从 SaaS API 抽取数据,经 ODS→DWD→Core→DWS 逐层处理后落库。
内部结构
pipelines/feiqiu/— 飞球 Connector(api、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests)
Roadmap
- 将通用抽取/加载逻辑抽离为
etl_sdk共享包,供多 Connector 复用 - 将各平台 API 客户端拆分为独立
connectors包,实现可插拔数据源接入 - 新增 Connector 时在
pipelines/下创建同构子目录