2.2 KiB
2.2 KiB
任务列表:ETL 员工维度表(staff_info)
任务
-
1. DDL 创建与数据库执行
- 1.1 编写迁移脚本
db/etl_feiqiu/migrations/2026-02-22__add_staff_info_tables.sql,包含 ODS + DWD 三张表的 CREATE TABLE 语句 - 1.2 在测试库(test_etl_feiqiu)执行迁移脚本,创建
ods.staff_info_master、dwd.dim_staff、dwd.dim_staff_ex - 1.3 将 DDL 归档追加至
docs/database/ddl/etl_feiqiu__ods.sql和docs/database/ddl/etl_feiqiu__dwd.sql
- 1.1 编写迁移脚本
-
2. ODS 任务注册
- 2.1 在
apps/etl/connectors/feiqiu/api/client.py的DEFAULT_LIST_KEYS中添加"staffProfiles" - 2.2 在
apps/etl/connectors/feiqiu/tasks/ods/ods_tasks.py的ODS_TASK_SPECS中新增ODS_STAFF_INFO任务规格 - 2.3 在
ENABLED_ODS_CODES集合中注册"ODS_STAFF_INFO"
- 2.1 在
-
3. DWD 映射注册
- 3.1 在
apps/etl/connectors/feiqiu/tasks/dwd/dwd_load_task.py的TABLE_MAP中新增dwd.dim_staff和dwd.dim_staff_ex的映射 - 3.2 在
FACT_MAPPINGS中新增dwd.dim_staff和dwd.dim_staff_ex的字段映射配置
- 3.1 在
-
4. 单元测试
- 4.1 编写 ODS 任务规格完整性测试(验证 P1 属性)
- 4.2 编写 DWD 映射完整性测试(验证 P2 属性)
-
5. 属性测试
- 5.1 [PBT] 编写 ODS 列名提取一致性属性测试(验证 P3 属性):对于任意员工记录,字段名转换和 payload 保留正确
-
6. 文档增补
- 6.1 新增 ODS mapping 文档:
apps/etl/connectors/feiqiu/docs/database/ODS/mappings/mapping_SearchSystemStaffInfo_staff_info_master.md - 6.2 新增 ODS BD_manual 文档:
apps/etl/connectors/feiqiu/docs/database/ODS/main/BD_manual_staff_info_master.md - 6.3 新增 DWD BD_manual 主表文档:
apps/etl/connectors/feiqiu/docs/database/DWD/main/BD_manual_dim_staff.md - 6.4 新增 DWD BD_manual 扩展表文档:
apps/etl/connectors/feiqiu/docs/database/DWD/main/BD_manual_dim_staff_ex.md - 6.5 更新
apps/etl/connectors/feiqiu/docs/database/README.md,增加员工表条目 - 6.6 更新
apps/etl/connectors/feiqiu/docs/etl_tasks/ods_tasks.md,增加 ODS_STAFF_INFO 任务说明 - 6.7 更新
docs/database/README.md,增加员工相关表条目
- 6.1 新增 ODS mapping 文档: