ODS 完成

etl_billiards/config/defaults.py

@@ -15,7 +15,7 @@ DEFAULTS = {
         "name": "",
         "user": "",
         "password": "",
-        "connect_timeout_sec": 5,
+        "connect_timeout_sec": 20,
         "batch_size": 1000,
         "session": {
             "timezone": "Asia/Taipei",
@@ -25,10 +25,11 @@ DEFAULTS = {
         },
     },
     "api": {
-        "base_url": None,
+        "base_url": "https://pc.ficoo.vip/apiprod/admin/v1",
         "token": None,
         "timeout_sec": 20,
         "page_size": 200,
+        "params": {},
         "retries": {
             "max_attempts": 3,
             "backoff_sec": [1, 2, 4],
@@ -71,6 +72,14 @@ DEFAULTS = {
         "write_pretty_json": False,
         "max_file_bytes": 50 * 1024 * 1024,
     },
+    "pipeline": {
+        # 运行流程：FETCH_ONLY（仅在线抓取落盘）、INGEST_ONLY（本地清洗入库）、FULL（抓取 + 清洗入库）
+        "flow": "FULL",
+        # 在线抓取 JSON 输出根目录（按任务、run_id 与时间自动创建子目录）
+        "fetch_root": r"D:\LLZQ\DB\json_fetch",
+        # 本地清洗入库时的 JSON 输入目录（为空则默认使用本次抓取目录）
+        "ingest_source_dir": "",
+    },
     "clean": {
         "log_unknown_fields": True,
         "unknown_fields_limit": 50,
@@ -86,14 +95,6 @@ DEFAULTS = {
         "redact_keys": ["token", "password", "Authorization"],
         "echo_token_in_logs": False,
     },
-    "testing": {
-        # ONLINE: 正常实时 ETL；OFFLINE: 读取归档 JSON 做 T/L
-        "mode": "ONLINE",
-        # 离线归档 JSON 所在目录（测试/离线回放使用）
-        "json_archive_dir": "",
-        # 测试运行时用于生成/复制临时 JSON 的目录
-        "temp_json_dir": "",
-    },
 }
 
 # 任务代码常量