SCST（Self-Critical Sequence Training）提升 MBE 全引擎能力研究

版本: v1.0
日期: 2026-02-10

一、研究结论

SCST 可以系统性地提升整个 MBE 引擎的能力，而非仅限于某一垂直领域。核心逻辑：

1. MBE 已实现 11 个 Self-Critique 模块，每个都可作为 SCST 的奖励信号源
2. MBE 已覆盖 7+ 行业领域，每个领域都使用 Self-Critique，都能从 SCST 受益
3. SCST 框架是引擎级别的优化，一次实现，全领域通用

二、SCST 核心原理

Self-Critical Sequence Training 使用 REINFORCE 算法，以模型自身推理输出（greedy decode）为 baseline：

奖励信号 = Self-Critique 评分(采样序列) - Self-Critique 评分(贪心序列)

与纯 Self-Critique 的区别：

Self-Critique 是"检查作业"，SCST 是"让学生变聪明"。两者结合是"边检查边让学生越来越聪明"。

三、MBE 已有 Self-Critique 模块 — SCST 奖励信号源

四、SCST 可优化 MBE 引擎核心循环的每个阶段

MBE 引擎核心流程（米塞斯行为学五步序列）：

用户输入 → 不舒适感分析 → 愿望分析 → 路径生成 → 评估 → 行动

五、SCST 可提升全部 7+ 行业领域

MBE 已覆盖的每个行业领域都使用 Self-Critique，SCST 框架一旦实现，所有领域立刻受益：

六、SCST × TITANS × MIRAS × HOPE 全引擎协同闭环

┌──────────────────────────────────────────────────────────────┐
│               SCST 驱动的 MBE 全引擎优化闭环                   │
├──────────────────────────────────────────────────────────────┤
│                                                              │
│  ① MIRAS 检索 → 生成候选输出                                 │
│        ↓                                                     │
│  ② Self-Critique 评分 (11个模块提供多维评分)                   │
│        ↓                                                     │
│  ③ SCST 计算奖励 = critique(采样) - critique(贪心)            │
│        ↓                                                     │
│  ④ REINFORCE 更新生成策略                                     │
│        ↓                                                     │
│  ⑤ HOPE 捕获学习信号:                                        │
│     ├─ FastAdaptation: 学习高奖励的新策略                     │
│     ├─ StableMemory: 固化持续高分的生成模式                   │
│     ├─ PatternRecognition: 发现跨领域通用模式                 │
│     └─ ForgetControl: 淘汰低分策略                            │
│        ↓                                                     │
│  ⑥ TITANS 记忆更新:                                          │
│     ├─ 高惊喜度 + 高 critique 分 → 写入长期记忆               │
│     ├─ SelfCritiqueWithTITANS: enhanced_surprise 计算         │
│     └─ SCST 训练结果 → 更新记忆检索器权重                     │
│        ↓                                                     │
│  ⑦ MIRAS 检索优化:                                           │
│     ├─ SCST 优化查询生成 → MIRAS 输入质量更高                 │
│     ├─ RetrievalCritique 反馈 → 迭代检索策略改进              │
│     └─ 全局层权重由 HOPE 偏好动态调整                         │
│        ↓                                                     │
│  ⑧ 回到 ①，形成持续优化飞轮                                  │
│                                                              │
└──────────────────────────────────────────────────────────────┘

现有代码集成点

SelfCritiqueWithTITANS 已有的增强惊喜度计算

# 已实现: self_critique.py
enhanced_surprise = base_surprise
                  + len(critique_issues) * 0.1      # critique 发现的问题越多，惊喜越大
                  + (1 - avg_critique_score) * 0.2   # critique 分数越低，惊喜越大
                  + (0.15 if not passed else 0)      # 未通过验证，额外惊喜

# SCST 可扩展:
scst_enhanced_surprise = enhanced_surprise
                       + abs(scst_reward) * 0.15     # SCST 奖励信号越大，学习越积极

七、SCST 训练管道集成方案

7.1 当前训练方法

7.2 SCST 集成点

八、实施路线图

Phase 1: SCST 基础框架（1-2 周）

• 实现 SCST 训练循环（通用框架，不绑定领域）
• 集成 QASelfCritique 评分作为首个奖励信号
• 小规模验证：QA 答案生成 SCST 训练
• 评估幻觉率变化

Phase 2: 核心循环 SCST（2-4 周）

• 路径生成 SCST 训练（PathSelfCritique 奖励）
• 愿望分析 SCST 训练（DesireCritique 奖励）
• SCST 奖励信号接入 SelfCritiqueWithTITANS
• 评估核心循环质量提升

Phase 3: 检索与路由 SCST（1-2 月）

• 检索查询生成 SCST（RetrievalCritique 奖励）
• 专家路由策略 SCST（ExpertMatchCritique 奖励）
• SCST × HOPE 协同训练
• 全领域效果评估

Phase 4: 领域深度 SCST（2-3 月）

• 法律：证据链/文书生成 SCST
• 金融：合规回答 SCST
• 各领域特定 Self-Critique 作为奖励信号
• 全链路闭环与持续优化

九、预期收益总结

十、相关文档

文档版本: v1.0
更新日期: 2026-02-10