Files
Neo-ZQYY/docs/specs/etl-staff-dimension/tasks.md
Neo 70324d8542 chore: 文档与 IDE 配置整理
- .kiro/specs/ → docs/specs/(41 个历史需求 spec 迁移,移除 .config.kiro)
- CLAUDE.md 三层拆分:根文件精简 + apps/backend/CLAUDE.md + .claude/commands/
- 新增 /spec-close、/pre-change 两个工作流命令
- DDL 基线刷新(从测试库重新导出 11 个文件,dws 35→38 表,biz 18→21 表)
- BD_Manual → BD_manual 命名统一(48 个文件)
- 修复 3 处文档与数据库不一致(auth.users.status 默认值、scheduled_tasks 字段、RLS 视图数)
- 新增 BD_manual_public_rbac_tables.md(public schema 8 张 RBAC/工作流表)
- 合并 biz.trigger_jobs 文档(10→12 字段,归档独立文档)
- docs/database/README.md 索引更新

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-04-06 00:02:37 +08:00

2.2 KiB
Raw Blame History

任务列表ETL 员工维度表staff_info

任务

  • 1. DDL 创建与数据库执行

    • 1.1 编写迁移脚本 db/etl_feiqiu/migrations/2026-02-22__add_staff_info_tables.sql,包含 ODS + DWD 三张表的 CREATE TABLE 语句
    • 1.2 在测试库test_etl_feiqiu执行迁移脚本创建 ods.staff_info_masterdwd.dim_staffdwd.dim_staff_ex
    • 1.3 将 DDL 归档追加至 docs/database/ddl/etl_feiqiu__ods.sqldocs/database/ddl/etl_feiqiu__dwd.sql
  • 2. ODS 任务注册

    • 2.1 在 apps/etl/connectors/feiqiu/api/client.pyDEFAULT_LIST_KEYS 中添加 "staffProfiles"
    • 2.2 在 apps/etl/connectors/feiqiu/tasks/ods/ods_tasks.pyODS_TASK_SPECS 中新增 ODS_STAFF_INFO 任务规格
    • 2.3 在 ENABLED_ODS_CODES 集合中注册 "ODS_STAFF_INFO"
  • 3. DWD 映射注册

    • 3.1 在 apps/etl/connectors/feiqiu/tasks/dwd/dwd_load_task.pyTABLE_MAP 中新增 dwd.dim_staffdwd.dim_staff_ex 的映射
    • 3.2 在 FACT_MAPPINGS 中新增 dwd.dim_staffdwd.dim_staff_ex 的字段映射配置
  • 4. 单元测试

    • 4.1 编写 ODS 任务规格完整性测试(验证 P1 属性)
    • 4.2 编写 DWD 映射完整性测试(验证 P2 属性)
  • 5. 属性测试

    • 5.1 [PBT] 编写 ODS 列名提取一致性属性测试(验证 P3 属性):对于任意员工记录,字段名转换和 payload 保留正确
  • 6. 文档增补

    • 6.1 新增 ODS mapping 文档:apps/etl/connectors/feiqiu/docs/database/ODS/mappings/mapping_SearchSystemStaffInfo_staff_info_master.md
    • 6.2 新增 ODS BD_manual 文档:apps/etl/connectors/feiqiu/docs/database/ODS/main/BD_manual_staff_info_master.md
    • 6.3 新增 DWD BD_manual 主表文档:apps/etl/connectors/feiqiu/docs/database/DWD/main/BD_manual_dim_staff.md
    • 6.4 新增 DWD BD_manual 扩展表文档:apps/etl/connectors/feiqiu/docs/database/DWD/main/BD_manual_dim_staff_ex.md
    • 6.5 更新 apps/etl/connectors/feiqiu/docs/database/README.md,增加员工表条目
    • 6.6 更新 apps/etl/connectors/feiqiu/docs/etl_tasks/ods_tasks.md,增加 ODS_STAFF_INFO 任务说明
    • 6.7 更新 docs/database/README.md,增加员工相关表条目