root/Neo-ZQYY
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

在前后端开发联调前 的提交20260223

Browse Source
This commit is contained in:
Neo
2026-02-23 23:02:20 +08:00
parent 254ccb1e77
commit fafc95e64c
1142 changed files with 10366960 additions and 36957 deletions
Download Patch File Download Diff File Expand all files Collapse all files

16
docs/etl-feiqiu-architecture.md
View File

@@ -392,9 +392,9 @@ python -m cli.main --flow api_full --processing-mode increment_verify
python -m cli.main --layers ODS,DWD,DWS --processing-mode increment_only
```
> `--pipeline` 仍可使用但已弃用，使用时会输出 DeprecationWarning。`--layers` 和 `--flow`/`--pipeline` 互斥。
> `--layers` 和 `--flow` 互斥。
### 4.3 Flow 定义（7 种 Pipeline）
### 4.3 Flow 定义（7 种 Flow）
| Flow 名称 | 包含层 | 典型用途 |
|-----------|--------|----------|
@@ -406,16 +406,19 @@ python -m cli.main --layers ODS,DWD,DWS --processing-mode increment_only
| `dwd_dws_index` | DWS → INDEX | DWS 汇总 + 指数计算 |
| `dwd_index` | INDEX | 仅指数计算 |
### 4.4 三种处理模式
### 4.4 四种处理模式
| 模式 | 说明 |
|------|------|
| `increment_only` | 仅增量处理（默认） |
| `verify_only` | 跳过增量，直接校验数据一致性并自动补齐 |
| `increment_verify` | 先增量处理，再校验补齐 |
| `full_window` | 用 API 返回数据的实际时间范围处理全部层（ODS→DWD→DWS→INDEX），跳过 MAX(fetched_at) 兜底和校验 |
`verify_only` 模式可选 `--fetch-before-verify`：校验前先从 API 获取最新数据。
`full_window` 模式：ODS 层直接使用基础窗口（CLI 指定或默认 24h 回溯），不走 `_get_max_fetched_at` 兜底逻辑。适用于需要全量重跑某时间段数据的场景，API 返回数据即为真实来源，无游标偏移风险。
### 4.5 三种数据源模式（DataSource）
| 模式 | 说明 | 旧参数映射 |
@@ -561,10 +564,9 @@ class TaskMeta:
| 参数 | 可选值 | 默认值 | 说明 |
|------|--------|--------|------|
| `--flow` | api_ods, api_ods_dwd, api_full, ods_dwd, dwd_dws, dwd_dws_index, dwd_index | — | Flow 类型（替代 `--pipeline`） |
| `--pipeline` | 同上 | — | [已弃用] `--flow` 的别名，使用时输出 DeprecationWarning |
| `--layers` | ODS,DWD,DWS,INDEX 的任意组合 | — | ETL 层自由组合（与 `--flow`/`--pipeline` 互斥） |
| `--processing-mode` | increment_only, verify_only, increment_verify | increment_only | 处理模式 |
| `--flow` | api_ods, api_ods_dwd, api_full, ods_dwd, dwd_dws, dwd_dws_index, dwd_index | — | Flow 类型 |
| `--layers` | ODS,DWD,DWS,INDEX 的任意组合 | — | ETL 层自由组合（与 `--flow` 互斥） |
| `--processing-mode` | increment_only, verify_only, increment_verify, full_window | increment_only | 处理模式 |
| `--fetch-before-verify` | flag | — | 校验前先从 API 获取数据 |
| `--verify-tables` | str | — | 仅校验指定表（逗号分隔） |
| `--window-split` | none, day, week, month | none | 时间窗口切分 |