Files
Neo-ZQYY/docs/database/BD_Manual_fdw_etl_setup.md
Neo b25308c3f4 feat: P1-P3 全栈集成 — 数据库基础 + DWS 扩展 + 小程序鉴权 + 工程化体系
## P1 数据库基础
- zqyy_app: 创建 auth/biz schema、FDW 连接 etl_feiqiu
- etl_feiqiu: 创建 app schema RLS 视图、商品库存预警表
- 清理 assistant_abolish 残留数据

## P2 ETL/DWS 扩展
- 新增 DWS 助教订单贡献度表 (dws.assistant_order_contribution)
- 新增 assistant_order_contribution_task 任务及 RLS 视图
- member_consumption 增加充值字段、assistant_daily 增加处罚字段
- 更新 ODS/DWD/DWS 任务文档及业务规则文档
- 更新 consistency_checker、flow_runner、task_registry 等核心模块

## P3 小程序鉴权系统
- 新增 xcx_auth 路由/schema(微信登录 + JWT)
- 新增 wechat/role/matching/application 服务层
- zqyy_app 鉴权表迁移 + 角色权限种子数据
- auth/dependencies.py 支持小程序 JWT 鉴权

## 文档与审计
- 新增 DOCUMENTATION-MAP 文档导航
- 新增 7 份 BD_Manual 数据库变更文档
- 更新 DDL 基线快照(etl_feiqiu 6 schema + zqyy_app auth)
- 新增全栈集成审计记录、部署检查清单更新
- 新增 BACKLOG 路线图、FDW→Core 迁移计划

## Kiro 工程化
- 新增 5 个 Spec(P1/P2/P3/全栈集成/核心业务)
- 新增审计自动化脚本(agent_on_stop/build_audit_context/compliance_prescan)
- 新增 6 个 Hook(合规检查/会话日志/提交审计等)
- 新增 doc-map steering 文件

## 运维与测试
- 新增 ops 脚本:迁移验证/API 健康检查/ETL 监控/集成报告
- 新增属性测试:test_dws_contribution / test_auth_system
- 清理过期 export 报告文件
- 更新 .gitignore 排除规则
2026-02-26 08:03:53 +08:00

4.4 KiB
Raw Permalink Blame History

BD_ManualFDW 跨库映射配置fdw_etl

目标库:test_zqyy_app(通过 APP_DB_DSN 连接) 迁移脚本:db/zqyy_app/migrations/2026-02-24__p1_setup_fdw_etl.sql 关联 SPECminiapp-db-foundationP1 基础设施层)


1. 变更说明

新增扩展

扩展 用途
postgres_fdw PostgreSQL 外部数据包装器,支持跨库查询

新增外部服务器

服务器名 目标库 说明
etl_feiqiu_server ETL 库(通过 PG_DSN 连接) 通用名称,通过 host/dbname/port 参数区分环境

新增用户映射

本地角色 远程角色 服务器
app_user app_reader etl_feiqiu_server

新增 Schema

Schema 用途
fdw_etl 存放从 ETL 库 app Schema 导入的外部表(只读)

导入的外部表

通过 IMPORT FOREIGN SCHEMA app 批量导入,外部表与 ETL 库 app Schema 中的 RLS 视图一一对应(共 35 张):

  • 11 张 DWD 视图:v_dim_memberv_dim_assistantv_dim_member_card_accountv_dim_tablev_dwd_settlement_headv_dwd_table_fee_logv_dwd_assistant_service_logv_dwd_recharge_orderv_dwd_store_goods_salev_dim_staffv_dim_staff_ex
  • 24 张 DWS 视图:v_dws_member_consumption_summaryv_dws_member_visit_detail

权限配置

角色 Schema 权限
app_user fdw_etl USAGE + SELECT ON ALL TABLES + ALTER DEFAULT PRIVILEGES

2. 兼容性影响

组件 影响
ETL 任务 无影响。本脚本仅在业务库创建外部表映射,不修改 ETL 库
后端 API 前置依赖。后端可通过 fdw_etl.v_dim_member 等外部表读取 ETL 数据,无需直连 ETL 库
小程序 无直接影响。小程序通过后端 API 间接访问
管理后台 无直接影响
auth/biz Schema 无影响。FDW 配置独立于业务 Schema
public Schema 无影响
现有 db/fdw/setup_fdw_test.sql 功能重叠。本迁移脚本使用通用服务器名 etl_feiqiu_server(不含环境前缀),与旧脚本的 test_etl_feiqiu_server 共存但独立

幂等性说明

IMPORT FOREIGN SCHEMA 不支持 IF NOT EXISTS,重复执行会因外部表已存在而报错。本脚本采用 DROP SCHEMA IF EXISTS fdw_etl CASCADE + 重建的方式确保幂等性。副作用是每次执行会重建所有外部表,但由于外部表不存储数据,无数据丢失风险。


3. 回滚策略

迁移脚本末尾已包含注释形式的回滚语句,按逆序执行:

ALTER DEFAULT PRIVILEGES IN SCHEMA fdw_etl REVOKE SELECT ON TABLES FROM app_user;
REVOKE SELECT ON ALL TABLES IN SCHEMA fdw_etl FROM app_user;
REVOKE USAGE ON SCHEMA fdw_etl FROM app_user;
DROP SCHEMA IF EXISTS fdw_etl CASCADE;
DROP USER MAPPING IF EXISTS FOR app_user SERVER etl_feiqiu_server;
DROP SERVER IF EXISTS etl_feiqiu_server CASCADE;
DROP EXTENSION IF EXISTS postgres_fdw;

注意:

  • DROP SERVER CASCADE 会级联删除依赖的用户映射和外部表
  • 如果其他 Schema 也使用 postgres_fdw 扩展,不要执行最后一行 DROP EXTENSION
  • 回滚不影响 ETL 库侧的 app Schema 和 RLS 视图

4. 验证 SQL

-- 1. 验证 postgres_fdw 扩展已安装
SELECT extname, extversion
FROM pg_extension
WHERE extname = 'postgres_fdw';

-- 2. 验证外部服务器已创建
SELECT srvname, srvowner::regrole, srvoptions
FROM pg_foreign_server
WHERE srvname = 'etl_feiqiu_server';

-- 3. 验证用户映射已创建
SELECT um.umid, r.rolname AS local_role, s.srvname, um.umoptions
FROM pg_user_mappings um
JOIN pg_foreign_server s ON s.srvname = um.srvname
JOIN pg_roles r ON r.rolname = um.usename
WHERE s.srvname = 'etl_feiqiu_server';

-- 4. 验证 fdw_etl Schema 存在且包含外部表
SELECT foreign_table_schema, foreign_table_name, foreign_server_name
FROM information_schema.foreign_tables
WHERE foreign_table_schema = 'fdw_etl'
ORDER BY foreign_table_name;

-- 5. 验证 app_user 对 fdw_etl 有 USAGE 权限
SELECT has_schema_privilege('app_user', 'fdw_etl', 'USAGE') AS fdw_etl_usage;

-- 6. 验证 ALTER DEFAULT PRIVILEGES 已设置
SELECT n.nspname AS schema_name,
       d.defaclacl AS default_acl
FROM pg_default_acl d
JOIN pg_namespace n ON n.oid = d.defaclnamespace
WHERE n.nspname = 'fdw_etl';