127 lines
4.1 KiB
Python
127 lines
4.1 KiB
Python
# -*- coding: utf-8 -*-
|
|
"""CLI主入口"""
|
|
import sys
|
|
import argparse
|
|
import logging
|
|
from pathlib import Path
|
|
|
|
from config.settings import AppConfig
|
|
from orchestration.scheduler import ETLScheduler
|
|
|
|
def setup_logging():
|
|
"""设置日志"""
|
|
logging.basicConfig(
|
|
level=logging.INFO,
|
|
format='%(asctime)s [%(levelname)s] %(name)s: %(message)s',
|
|
datefmt='%Y-%m-%d %H:%M:%S'
|
|
)
|
|
return logging.getLogger("etl_billiards")
|
|
|
|
def parse_args():
|
|
"""解析命令行参数"""
|
|
parser = argparse.ArgumentParser(description="台球场ETL系统")
|
|
|
|
# 基本参数
|
|
parser.add_argument("--store-id", type=int, help="门店ID")
|
|
parser.add_argument("--tasks", help="任务列表，逗号分隔")
|
|
parser.add_argument("--dry-run", action="store_true", help="试运行（不提交）")
|
|
|
|
# 数据库参数
|
|
parser.add_argument("--pg-dsn", help="PostgreSQL DSN")
|
|
parser.add_argument("--pg-host", help="PostgreSQL主机")
|
|
parser.add_argument("--pg-port", type=int, help="PostgreSQL端口")
|
|
parser.add_argument("--pg-name", help="PostgreSQL数据库名")
|
|
parser.add_argument("--pg-user", help="PostgreSQL用户名")
|
|
parser.add_argument("--pg-password", help="PostgreSQL密码")
|
|
|
|
# API参数
|
|
parser.add_argument("--api-base", help="API基础URL")
|
|
parser.add_argument("--api-token", help="API令牌")
|
|
parser.add_argument("--api-timeout", type=int, help="API超时(秒)")
|
|
parser.add_argument("--api-page-size", type=int, help="分页大小")
|
|
|
|
# 目录参数
|
|
parser.add_argument("--export-root", help="导出根目录")
|
|
parser.add_argument("--log-root", help="日志根目录")
|
|
|
|
return parser.parse_args()
|
|
|
|
def build_cli_overrides(args) -> dict:
|
|
"""从命令行参数构建配置覆盖"""
|
|
overrides = {}
|
|
|
|
# 基本信息
|
|
if args.store_id is not None:
|
|
overrides.setdefault("app", {})["store_id"] = args.store_id
|
|
|
|
# 数据库
|
|
if args.pg_dsn:
|
|
overrides.setdefault("db", {})["dsn"] = args.pg_dsn
|
|
if args.pg_host:
|
|
overrides.setdefault("db", {})["host"] = args.pg_host
|
|
if args.pg_port:
|
|
overrides.setdefault("db", {})["port"] = args.pg_port
|
|
if args.pg_name:
|
|
overrides.setdefault("db", {})["name"] = args.pg_name
|
|
if args.pg_user:
|
|
overrides.setdefault("db", {})["user"] = args.pg_user
|
|
if args.pg_password:
|
|
overrides.setdefault("db", {})["password"] = args.pg_password
|
|
|
|
# API
|
|
if args.api_base:
|
|
overrides.setdefault("api", {})["base_url"] = args.api_base
|
|
if args.api_token:
|
|
overrides.setdefault("api", {})["token"] = args.api_token
|
|
if args.api_timeout:
|
|
overrides.setdefault("api", {})["timeout_sec"] = args.api_timeout
|
|
if args.api_page_size:
|
|
overrides.setdefault("api", {})["page_size"] = args.api_page_size
|
|
|
|
# 目录
|
|
if args.export_root:
|
|
overrides.setdefault("io", {})["export_root"] = args.export_root
|
|
if args.log_root:
|
|
overrides.setdefault("io", {})["log_root"] = args.log_root
|
|
|
|
# 任务
|
|
if args.tasks:
|
|
tasks = [t.strip().upper() for t in args.tasks.split(",") if t.strip()]
|
|
overrides.setdefault("run", {})["tasks"] = tasks
|
|
|
|
return overrides
|
|
|
|
def main():
|
|
"""主函数"""
|
|
logger = setup_logging()
|
|
args = parse_args()
|
|
|
|
try:
|
|
# 加载配置
|
|
cli_overrides = build_cli_overrides(args)
|
|
config = AppConfig.load(cli_overrides)
|
|
|
|
logger.info("配置加载完成")
|
|
logger.info(f"门店ID: {config.get('app.store_id')}")
|
|
logger.info(f"任务列表: {config.get('run.tasks')}")
|
|
|
|
# 创建调度器
|
|
scheduler = ETLScheduler(config, logger)
|
|
|
|
# 运行任务
|
|
task_codes = config.get("run.tasks")
|
|
scheduler.run_tasks(task_codes)
|
|
|
|
# 关闭连接
|
|
scheduler.close()
|
|
|
|
logger.info("ETL运行完成")
|
|
return 0
|
|
|
|
except Exception as e:
|
|
logger.error(f"ETL运行失败: {e}", exc_info=True)
|
|
return 1
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|