Files

2.2 KiB
Raw Permalink Blame History

任务列表ETL 员工维度表staff_info

任务

  • 1. DDL 创建与数据库执行

    • 1.1 编写迁移脚本 db/etl_feiqiu/migrations/2026-02-22__add_staff_info_tables.sql,包含 ODS + DWD 三张表的 CREATE TABLE 语句
    • 1.2 在测试库test_etl_feiqiu执行迁移脚本创建 ods.staff_info_masterdwd.dim_staffdwd.dim_staff_ex
    • 1.3 将 DDL 归档追加至 docs/database/ddl/etl_feiqiu__ods.sqldocs/database/ddl/etl_feiqiu__dwd.sql
  • 2. ODS 任务注册

    • 2.1 在 apps/etl/connectors/feiqiu/api/client.pyDEFAULT_LIST_KEYS 中添加 "staffProfiles"
    • 2.2 在 apps/etl/connectors/feiqiu/tasks/ods/ods_tasks.pyODS_TASK_SPECS 中新增 ODS_STAFF_INFO 任务规格
    • 2.3 在 ENABLED_ODS_CODES 集合中注册 "ODS_STAFF_INFO"
  • 3. DWD 映射注册

    • 3.1 在 apps/etl/connectors/feiqiu/tasks/dwd/dwd_load_task.pyTABLE_MAP 中新增 dwd.dim_staffdwd.dim_staff_ex 的映射
    • 3.2 在 FACT_MAPPINGS 中新增 dwd.dim_staffdwd.dim_staff_ex 的字段映射配置
  • 4. 单元测试

    • 4.1 编写 ODS 任务规格完整性测试(验证 P1 属性)
    • 4.2 编写 DWD 映射完整性测试(验证 P2 属性)
  • 5. 属性测试

    • 5.1 [PBT] 编写 ODS 列名提取一致性属性测试(验证 P3 属性):对于任意员工记录,字段名转换和 payload 保留正确
  • 6. 文档增补

    • 6.1 新增 ODS mapping 文档:apps/etl/connectors/feiqiu/docs/database/ODS/mappings/mapping_SearchSystemStaffInfo_staff_info_master.md
    • 6.2 新增 ODS BD_manual 文档:apps/etl/connectors/feiqiu/docs/database/ODS/main/BD_manual_staff_info_master.md
    • 6.3 新增 DWD BD_manual 主表文档:apps/etl/connectors/feiqiu/docs/database/DWD/main/BD_manual_dim_staff.md
    • 6.4 新增 DWD BD_manual 扩展表文档:apps/etl/connectors/feiqiu/docs/database/DWD/main/BD_manual_dim_staff_ex.md
    • 6.5 更新 apps/etl/connectors/feiqiu/docs/database/README.md,增加员工表条目
    • 6.6 更新 apps/etl/connectors/feiqiu/docs/etl_tasks/ods_tasks.md,增加 ODS_STAFF_INFO 任务说明
    • 6.7 更新 docs/database/README.md,增加员工相关表条目