Neo-ZQYY/apps/etl/README.md

apps/etl/

作用说明

ETL 数据管线集合。每个上游数据源对应 pipelines/ 下的一个子目录，当前仅有飞球平台（feiqiu）。管线负责从 SaaS API 抽取数据，经 ODS→DWD→Core→DWS 逐层处理后落库。

内部结构

• pipelines/feiqiu/ — 飞球平台 ETL（api、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests）

Roadmap

• 将通用抽取/加载逻辑抽离为 etl_sdk 共享包，供多管线复用
• 将各平台 API 客户端拆分为独立 connectors 包，实现可插拔数据源接入
• 新增管线时在 pipelines/ 下创建同构子目录