涵盖(每条对应已存的审计记录): - AI 模块拆分:apps/backend/app/ai/apps -> prompts/(8 个 APP + app2a 派生) audit: 2026-04-20__ai-module-complete.md - admin-web AI 管理套件:AIDashboard / AIOperations / AIRunLogs / AITriggers / TriggerManager audit: 2026-04-21__admin-web-ai-management-suite.md - App2 财务洞察 prompt v3 -> v5.1 + 小程序 AI 接入(chat / board-finance) audit: 2026-04-22__app2_prompt_v5_1_and_miniprogram_ai_insight.md - App2 prewarm 全过滤器 + AI 触发器 cron reschedule audit: 2026-04-21__app2-finance-prewarm-all-filters.md migration: 20260420_ai_trigger_jobs_and_app2_prewarm.sql / 20260421_app2_prewarm_cron_reschedule.sql - AppType 联合类型对齐 + adminAiAppTypes.test.ts audit: 2026-04-30__admin_web_ai_app_type_alignment.md - DashScope tokens_used 提取修复 audit: 2026-04-30__backend_dashscope_tokens_used_extraction.md - App3 线索完整详情 prompt audit: 2026-05-01__backend_app3_full_detail_prompt.md - Runtime Context 沙箱(5-1~5-2 主线): - 后端 schema/service + admin_runtime_context / xcx_runtime_clock 两个 router - admin-web RuntimeContext.tsx + miniprogram runtime-clock.ts - migration: 20260501__runtime_context_sandbox.sql - tools/db/verify_admin_web_sandbox.py + verify_sandbox_end_to_end.py - database/changes: 7 份 sandbox_* 验证报告 - 飞球 DWS 修复:finance_area_daily 区域汇总 + task_engine 调整 + RLS 视图业务日上界(migration 20260502 + scripts/ops/gen_rls_business_date_migration.py) 合规: - .gitignore 启用 tmp/ 排除 - 不入仓:apps/etl/connectors/feiqiu/.env(API_TOKEN secret,本地修改保留) 待验证清单: - docs/audit/changes/2026-05-04__cumulative_baseline_pending_verification.md 每个主题的功能完整性 / 上线验证几乎都未收口,按优先级 P0~P3 逐一处理
2.4 KiB
2.4 KiB
App2 财务洞察 · 百炼 system prompt 版本记录
当前生产版本:V5.1(2026-04-22 采纳) 部署位置:百炼控制台 APP ID
1dcdb5f39c3040b6af8ef79215b9b051
版本总览
| 版本 | 文件 | 字节 | 状态 | 采纳日 |
|---|---|---|---|---|
| v3 修订 (A) | app2_finance_system_prompt_20260422.md | 13500 | 📦 归档 | — |
| v4 concise (B) | app2_finance_system_prompt_20260422_v4_concise.md | 5330 | 📦 归档 | — |
| v5 | app2_finance_system_prompt_20260422_v5.md | 15612 | 📦 归档 | — |
| V5.1 | app2_finance_system_prompt_20260422_v5_1.md | 15886 | ✅ 生产 | 2026-04-22 |
V5.1 采纳依据(四方 × 10 次 A/B/A/B 测试 · 店长视角评分)
| 维度 | A | B | V5 | V5.1 |
|---|---|---|---|---|
| 综合分 / 100 | 74.6 | 74.1 | 85.2 | 92.3 |
| 准确性 (40%) | 66.5 | 71.9 | 77.9 | 98.8 |
| 洞察深度 (35%) | 87.5 | 80.0 | 100.0 | 100.0 |
| 稳定性 (25%) | 69.7 | 69.3 | 76.0 | 71.2 |
V5.1 核心优势:
- 准确性 98.8(近满分) · 对比口径显式引用 0%→100% · 数据完整性标注 100% · 单期推测违规从 A 的 1.0 次/次降至 0.4 次/次
- 洞察深度 100 · seq 11 每次都列"原因 1 + 原因 2 + 意义解读"
- 稳定性 71.2(字数 CV 最优 0.09,时长均 77s · 10 次全 🔴 符合"同数据结论应一致")
评估方法
内容质量分析脚本:scripts/analyze_store_manager_quality.py · 店长视角三层模型:
- 准确性 40%:对比口径显式、权威字段、规则合规、单期推测违规、数据完整性标注
- 洞察深度 35%:深度信号命中、seq 11 top 2 + 意义解读、seq 12 跟踪四要素、多指标协同
- 稳定性 25%:评级众数占比、原因信号 IoU、跟踪指标一致性、字数/时长 CV
测试存档:export/ai-ab-test/(4 × 10 = 40 份完整 JSON + 店长视角综合评分 JSON)
变更规则
- 生产版本变更必须通过店长视角评分 ≥ 本版本当前分(V5.1 为 92.3)
- 采纳前做不少于 10 次测试(保留存档)
- 本文档只追加不覆盖,每版必须有采纳日期