Files
Neo-ZQYY/apps/etl
Neo 6f8f12314f feat: 累积功能变更 — 聊天集成、租户管理、小程序更新、ETL 增强、迁移脚本
包含多个会话的累积代码变更:
- backend: AI 聊天服务、触发器调度、认证增强、WebSocket、调度器最小间隔
- admin-web: ETL 状态页、任务管理、调度配置、登录优化
- miniprogram: 看板页面、聊天集成、UI 组件、导航更新
- etl: DWS 新任务(finance_area_daily/board_cache)、连接器增强
- tenant-admin: 项目初始化
- db: 19 个迁移脚本(etl_feiqiu 11 + zqyy_app 8)
- packages/shared: 枚举和工具函数更新
- tools: 数据库工具、报表生成、健康检查
- docs: PRD/架构/部署/合约文档更新

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-04-06 00:03:48 +08:00
..

apps/etl/

作用说明

ETL Connector数据源连接器集合。每个上游数据源对应 pipelines/ 下的一个子目录(即一个 Connector当前仅有飞球平台feiqiu。Connector 负责从 SaaS API 抽取数据,经 ODS→DWD→Core→DWS 逐层处理后落库。

内部结构

  • pipelines/feiqiu/ — 飞球 Connectorapi、cli、config、loaders、models、orchestration、scd、tasks、utils、quality、tests

Roadmap

  • 将通用抽取/加载逻辑抽离为 etl_sdk 共享包,供多 Connector 复用
  • 将各平台 API 客户端拆分为独立 connectors 包,实现可插拔数据源接入
  • 新增 Connector 时在 pipelines/ 下创建同构子目录