root/Neo-ZQYY
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

微信小程序页面迁移校验之前 P5任务处理之前

Browse Source
This commit is contained in:
Neo
2026-03-09 01:19:21 +08:00
parent 263bf96035
commit 6e20987d2f
1112 changed files with 153824 additions and 219694 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
.kiro/specs/etl-dws-flow-refactor/requirements.md
View File

@@ -22,7 +22,7 @@
- **Flow**：ETL 编排单元，定义一组按层顺序执行的任务集合（原名 pipeline）
- **Layer**：ETL 数据处理层级，包括 ODS、DWD、DWS、INDEX
- **Connector**：ETL 连接器，对接特定上游 SaaS 的数据抽取模块（原名 pipeline 目录）
- **DATE_COL**：DWS 子类声明的日期列名，用于 extract 和 delete_existing_data 的时间过滤
- **DATE_COL**：DWS 子类声明的日期列名，用于 extract 和 delete_existing_data 的时间过滤。日期值为营业日（以 `BUSINESS_DAY_START_HOUR`（默认 08:00）为日切点）
- **TaskContext**：运行期上下文数据类，包含 store_id、window_start/end、window_minutes、cursor
- **拓扑排序**：根据任务间依赖关系确定执行顺序的算法，确保被依赖任务先于依赖方执行
- **幂等**：同一操作执行多次与执行一次效果相同，本系统通过 delete-before-insert 实现