- [P20260217-223932] 2026-02-17 22:39:32 +0800 - summary: 我还有问题:- 水位线:所以水位线之前的数据完全不参与处理(除了 _insert_missing_by_pk 回补步骤)。这句话,或者说水位线仅在新增模式下起作用吧?- 回补:缺失主键回补什么时候会发生?如果我的本次任务严格规范了时间窗口,… - prompt: ```text 我还有问题:- 水位线:所以水位线之前的数据完全不参与处理(除了 _insert_missing_by_pk 回补步骤)。这句话,或者说水位线仅在新增模式下起作用吧?- 回补:缺失主键回补什么时候会发生?如果我的本次任务严格规范了时间窗口,那么就不会有这些问题吧?比如我明确获取8:00 - 10:00的数据。ODS任务从10:01启动的情况下。- HASH对比的风险但有个细节需要注意:ODS 的 content_hash 是基于原始 payload 计算的,而 DWD 的列经过了映射和类型转换。如果直接复用 ODS hash,需要确保"ODS payload 不变 = DWD 列不变"这个等价关系成立。在当前架构下这是成立的(DWD 列都是从 payload 派生的确定性映射),所以可以直接复用。这确实是个问题,那么我建议做一个参数,使用HASH还是使用展平的数据,以便应对DWD表结构改变。后的数据更新。 ```