1.3 KiB
1.3 KiB
- [P20260217-223932] 2026-02-17 22:39:32 +0800
- summary: 我还有问题：- 水位线：所以水位线之前的数据完全不参与处理（除了 _insert_missing_by_pk 回补步骤）。这句话，或者说水位线仅在新增模式下起作用吧？- 回补：缺失主键回补什么时候会发生？如果我的本次任务严格规范了时间窗口，…
- prompt:
我还有问题：- 水位线：所以水位线之前的数据完全不参与处理（除了 _insert_missing_by_pk 回补步骤）。这句话，或者说水位线仅在新增模式下起作用吧？- 回补：缺失主键回补什么时候会发生？如果我的本次任务严格规范了时间窗口，那么就不会有这些问题吧？比如我明确获取8:00 - 10:00的数据。ODS任务从10:01启动的情况下。- HASH对比的风险但有个细节需要注意：ODS 的 content_hash 是基于原始 payload 计算的，而 DWD 的列经过了映射和类型转换。如果直接复用 ODS hash，需要确保"ODS payload 不变 = DWD 列不变"这个等价关系成立。在当前架构下这是成立的（DWD 列都是从 payload 派生的确定性映射），所以可以直接复用。这确实是个问题，那么我建议做一个参数，使用HASH还是使用展平的数据，以便应对DWD表结构改变。后的数据更新。