Files
Neo-ZQYY/apps/etl/connectors/feiqiu/tests
Neo b25308c3f4 feat: P1-P3 全栈集成 — 数据库基础 + DWS 扩展 + 小程序鉴权 + 工程化体系
## P1 数据库基础
- zqyy_app: 创建 auth/biz schema、FDW 连接 etl_feiqiu
- etl_feiqiu: 创建 app schema RLS 视图、商品库存预警表
- 清理 assistant_abolish 残留数据

## P2 ETL/DWS 扩展
- 新增 DWS 助教订单贡献度表 (dws.assistant_order_contribution)
- 新增 assistant_order_contribution_task 任务及 RLS 视图
- member_consumption 增加充值字段、assistant_daily 增加处罚字段
- 更新 ODS/DWD/DWS 任务文档及业务规则文档
- 更新 consistency_checker、flow_runner、task_registry 等核心模块

## P3 小程序鉴权系统
- 新增 xcx_auth 路由/schema(微信登录 + JWT)
- 新增 wechat/role/matching/application 服务层
- zqyy_app 鉴权表迁移 + 角色权限种子数据
- auth/dependencies.py 支持小程序 JWT 鉴权

## 文档与审计
- 新增 DOCUMENTATION-MAP 文档导航
- 新增 7 份 BD_Manual 数据库变更文档
- 更新 DDL 基线快照(etl_feiqiu 6 schema + zqyy_app auth)
- 新增全栈集成审计记录、部署检查清单更新
- 新增 BACKLOG 路线图、FDW→Core 迁移计划

## Kiro 工程化
- 新增 5 个 Spec(P1/P2/P3/全栈集成/核心业务)
- 新增审计自动化脚本(agent_on_stop/build_audit_context/compliance_prescan)
- 新增 6 个 Hook(合规检查/会话日志/提交审计等)
- 新增 doc-map steering 文件

## 运维与测试
- 新增 ops 脚本:迁移验证/API 健康检查/ETL 监控/集成报告
- 新增属性测试:test_dws_contribution / test_auth_system
- 清理过期 export 报告文件
- 更新 .gitignore 排除规则
2026-02-26 08:03:53 +08:00
..

tests/ — 测试套件

目录结构

tests/
├── unit/               # 单元测试FakeDB/FakeAPI无需真实数据库
│   ├── task_test_utils.py   # 测试工具FakeDBOperations、FakeAPIClient、OfflineAPIClient、TaskSpec
│   ├── test_ods_tasks.py    # ODS 任务在线/离线模式测试
│   ├── test_cli_args.py     # CLI 参数解析测试
│   ├── test_config.py       # 配置管理测试
│   ├── test_e2e_flow.py     # 端到端流程测试CLI → FlowRunner → TaskExecutor
│   ├── test_task_registry.py        # 任务注册表测试
│   ├── test_*_properties.py         # 属性测试hypothesis
│   └── test_audit_*.py              # 仓库审计相关测试
└── integration/        # 集成测试(需要真实数据库)
    ├── test_database.py     # 数据库连接与操作测试
    └── test_index_tasks.py  # 指数任务集成测试

运行测试

# 安装测试依赖
pip install pytest hypothesis

# 全部单元测试
pytest tests/unit

# 指定测试文件
pytest tests/unit/test_ods_tasks.py

# 按关键字过滤
pytest tests/unit -k "online"

# 集成测试(需要设置 TEST_DB_DSN
TEST_DB_DSN="postgresql://user:pass@host:5432/db" pytest tests/integration

# 查看详细输出
pytest tests/unit -v --tb=short

测试工具task_test_utils.py

单元测试通过 tests/unit/task_test_utils.py 提供的桩对象避免依赖真实数据库和 API

  • FakeDBOperations — 拦截并记录 upsert/execute/commit/rollback不触碰真实数据库
  • FakeAPIClient — 在线模式桩,直接返回预置的内存数据
  • OfflineAPIClient — 离线模式桩,从归档 JSON 文件回放数据
  • TaskSpec — 描述任务测试元数据(任务代码、端点、数据路径、样例记录)
  • create_test_config() — 构建测试用 AppConfig
  • dump_offline_payload() — 将样例数据写入归档目录供离线测试使用

编写新测试

  • 单元测试放在 tests/unit/,文件名 test_*.py
  • 使用 FakeDBOperationsFakeAPIClient 避免外部依赖
  • 属性测试使用 hypothesis,文件名以 _properties.py 结尾
  • 集成测试放在 tests/integration/,通过 TEST_DB_DSN 环境变量控制是否执行