root/Neo-ZQYY
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
ded6dfb9d8b3252d96e9545412156172f91fd492
Neo-ZQYY/.kiro/specs/etl-task-documentation/requirements.md

7.5 KiB
Raw Blame History

需求文档：ETL 任务说明文档

简介

为飞球 ETL 系统（etl-billiards）生成一份完整的任务说明文档，覆盖 ODS、DWD、DWS、INDEX 四层所有已注册任务的逻辑、执行方式、参数含义及处理流程。文档面向开发者和运维人员，放置于 docs/etl_tasks/ 目录下。

术语表

  • ETL_System：飞球 ETL 系统，负责从上游 API 抽取数据并经 ODS → DWD → DWS 三层处理
  • Task_Document：本次生成的 ETL 任务说明文档
  • ODS：操作数据存储层（Operational Data Store），保留 API 原始 payload
  • DWD：明细数据层（Data Warehouse Detail），清洗后的维度表和事实表
  • DWS：数据服务层（Data Warehouse Service），汇总统计表
  • INDEX：指数算法层，基于 DWS 数据计算自定义业务指数
  • BaseTask：所有 ETL 任务的基类，提供 Extract → Transform → Load 模板方法
  • TaskRegistry：任务注册表，维护任务代码与任务类的映射关系
  • TaskContext：运行期上下文，包含 store_id、时间窗口等信息
  • Pipeline：管道，定义多层任务的执行顺序（如 api_ods、api_full、dwd_dws 等）
  • Loader：加载器，负责将转换后的数据写入目标表（upsert/insert）

需求

需求 1：文档结构与组织

用户故事： 作为开发者，我希望文档按数据层分章节组织，以便快速定位特定层的任务说明。

验收标准

  1. THE Task_Document SHALL 包含一个总览文件（README.md），列出所有层及其任务清单，并提供跳转链接
  2. THE Task_Document SHALL 按 ODS、DWD、DWS、INDEX、Utility 五个分类分别生成独立的 Markdown 文件
  3. THE Task_Document SHALL 放置于 docs/etl_tasks/ 目录下
  4. WHEN 新增或删除任务时，THE Task_Document SHALL 通过总览文件的任务清单反映当前已注册任务的完整列表

需求 2：ODS 层任务说明

用户故事： 作为开发者，我希望了解每个 ODS 任务的 API 端点、参数、解析逻辑和目标表，以便排查数据抓取问题。

验收标准

  1. THE Task_Document SHALL 为每个 ODS 任务列出任务代码、对应的 Python 类、源 API 端点
  2. THE Task_Document SHALL 说明每个 ODS 任务的 extract 阶段调用的 API 参数及其含义
  3. THE Task_Document SHALL 说明每个 ODS 任务的 transform 阶段的字段解析和类型转换逻辑
  4. THE Task_Document SHALL 说明每个 ODS 任务的 load 阶段的目标表名和写入策略（upsert/insert）
  5. THE Task_Document SHALL 区分"独立 ODS 任务"（如 OrdersTask）和"通用 ODS 任务"（由 ODS_TASK_CLASSES 动态生成）两种模式
  6. THE Task_Document SHALL 说明通用 ODS 任务的 OdsTaskSpec 配置结构（端点、表名、列映射、分页参数等）

需求 3：DWD 层任务说明

用户故事： 作为开发者，我希望了解 DWD 层任务如何从 ODS 读取数据并清洗装载到维度表和事实表，以便理解数据血缘。

验收标准

  1. THE Task_Document SHALL 为每个 DWD 任务列出任务代码、Python 类、源 ODS 表和目标 DWD 表
  2. THE Task_Document SHALL 说明 DWD_LOAD_FROM_ODS 任务的 TABLE_MAP 映射关系及维度/事实分流逻辑
  3. THE Task_Document SHALL 说明维度表的 SCD2 处理方式（生效区间、变更检测、历史版本管理）
  4. THE Task_Document SHALL 说明事实表的增量装载方式（水位线、去重、冲突处理）
  5. THE Task_Document SHALL 说明 DWD_QUALITY_CHECK 任务的行数/金额核对逻辑和报表输出格式
  6. THE Task_Document SHALL 说明 TICKET_DWD、PAYMENTS_DWD、MEMBERS_DWD 三个独立 DWD 任务各自的处理特点

需求 4：DWS 层任务说明

用户故事： 作为开发者，我希望了解 DWS 层每个汇总任务的业务含义、数据来源和计算规则，以便验证业务报表的正确性。

验收标准

  1. THE Task_Document SHALL 为每个 DWS 任务列出任务代码、Python 类、目标表、主键和统计粒度
  2. THE Task_Document SHALL 说明每个 DWS 任务的数据来源表（DWD 层的哪些表）
  3. THE Task_Document SHALL 说明每个 DWS 任务的核心业务计算规则（如工资计算公式、业绩档位、排名逻辑等）
  4. THE Task_Document SHALL 说明每个 DWS 任务的更新策略（delete-before-insert 或 upsert）
  5. THE Task_Document SHALL 说明物化视图刷新任务（MV_REFRESH）的分层刷新机制和配置方式
  6. THE Task_Document SHALL 说明数据保留清理任务（RETENTION_CLEANUP）的时间分层策略和配置参数

需求 5：INDEX 层任务说明

用户故事： 作为开发者，我希望了解指数算法任务的计算逻辑和参数含义，以便调优指数模型。

验收标准

  1. THE Task_Document SHALL 为每个 INDEX 任务列出任务代码、Python 类、目标表和指数类型
  2. THE Task_Document SHALL 说明每个指数的计算公式或算法概要（WBI/NCI/RS/ML）
  3. THE Task_Document SHALL 说明指数参数的配置来源（cfg_index_parameters 表）和参数含义
  4. THE Task_Document SHALL 说明 ML_MANUAL_IMPORT 任务的 Excel 导入逻辑和模板格式

需求 6：工具类任务说明

用户故事： 作为运维人员，我希望了解 Schema 初始化、手动入库等工具类任务的用途和使用方式。

验收标准

  1. THE Task_Document SHALL 为每个工具类任务列出任务代码、Python 类和用途说明
  2. THE Task_Document SHALL 说明 INIT_ODS_SCHEMA、INIT_DWD_SCHEMA、INIT_DWS_SCHEMA 三个初始化任务执行的 DDL 文件和创建的目录
  3. THE Task_Document SHALL 说明 MANUAL_INGEST 任务的文件匹配规则、JSON 解析逻辑和入库流程
  4. THE Task_Document SHALL 说明 ODS_JSON_ARCHIVE 任务的归档策略
  5. THE Task_Document SHALL 说明 CHECK_CUTOFF 和 DATA_INTEGRITY_CHECK 任务的校验逻辑

需求 7：执行方式与参数说明

用户故事： 作为运维人员，我希望了解如何通过 CLI 和管道模式执行任务，以及各参数的含义。

验收标准

  1. THE Task_Document SHALL 说明 CLI 入口（python -m cli.main）的所有参数及其含义
  2. THE Task_Document SHALL 说明管道类型（api_ods、api_ods_dwd、api_full、ods_dwd、dwd_dws、dwd_dws_index、dwd_index）各自包含的层和执行顺序
  3. THE Task_Document SHALL 说明处理模式（increment_only、verify_only、increment_verify）的区别和适用场景
  4. THE Task_Document SHALL 说明时间窗口参数（window-start、window-end、window-split、lookback-hours、overlap-seconds）的计算逻辑
  5. THE Task_Document SHALL 说明数据源模式（online、offline、hybrid）的区别
  6. THE Task_Document SHALL 提供常见使用场景的命令示例

需求 8：BaseTask 与公共机制说明

用户故事： 作为开发者，我希望了解任务基类的模板方法和公共机制，以便开发新任务时遵循统一模式。

验收标准

  1. THE Task_Document SHALL 说明 BaseTask 的 Execute → Extract → Transform → Load 模板方法流程
  2. THE Task_Document SHALL 说明 TaskContext 的字段含义（store_id、window_start、window_end、window_minutes、cursor）
  3. THE Task_Document SHALL 说明时间窗口的计算逻辑（游标优先、闲忙时段、手动覆盖）
  4. THE Task_Document SHALL 说明窗口分段（build_window_segments）的切分策略
  5. THE Task_Document SHALL 说明任务注册表（TaskRegistry）的注册方式和元数据结构（layer、task_type、requires_db_config）
Reference in New Issue View Git Blame Copy Permalink