MBE Level 5 → Level 6 实施路线图

版本: v2.0
日期: 2026-02-10
v2.0 变更: 纳入离线 CoT（策略 C）作为阶段 A 第 4 条并行线，升级依赖矩阵为七大力量

一、路线策略：混合交织推进

核心原则：不是先 Level 5 再 Level 6（纯串行），也不是直接跳 Level 6（风险过高），而是 以 SCST 为主线，Level 6 独立模块并行推进。

时间    ─────────────────────────────────────────────────────────────────►

        ┌── 阶段 A (2-3w) ──┐┌── 阶段 B (2-3w) ──┐┌── 阶段 C (2-4w) ──┐
        │                    ││                    ││                    │
主线    │  SCST 基础框架      ││  多维奖励升级       ││  全协同闭环调优     │
(L5)    │  单维奖励 + 验证    ││  8维+步骤级奖励     ││  飞轮效应 + A/B    │
        │                    ││                    ││                    │
并行    │  探索策略全局化 ━━━━━━━━━━━━━━━►接入SCST   ││                    │
(L6)    │  因果推理纳入图谱 ━━━━━━━━━━━━━►接入SCST   ││                    │
        │  多智能体框架原型 ━━━━━━━━━━━━━━━━━━━━━━━━━►串联              │
        │  离线CoT框架搭建 ━━━━━━►步骤级奖励接入SCST ━━━►精准在线CoT      │
        │                    ││  智能路由×SCST      ││                    │
        │                    ││  Prompt优化×SCST    ││  模拟器×SCST       │
        └────────────────────┘└────────────────────┘└────────────────────┘

        ◄─── Level 5 达成 ──►◄───── Level 5+ ──────►◄─── Level 6 达成 ──►

CoT 策略: 在线不启用 CoT（零额外成本）
          离线批量 CoT 重跑 → 步骤级奖励 → 喂 SCST 训练
          阶段 C 后: Router 学会精准选择 → 可选择性在线启用

总预期时间：6-10 周（混合推进） vs 12-16 周（纯串行）

二、依赖关系矩阵

Level 6 七大力量对 SCST（Level 5 核心）的依赖程度分析：

关键发现：7 大力量中仅前 2 个强依赖 SCST，后 5 个可独立推进。

CoT 策略决策（策略 C：离线 CoT）

详见 MBE_COT_OFFLINE_STRATEGY.md。

三、为什么不直接跳 Level 6？

四、为什么不纯粹先 Level 5 再 Level 6？

五、阶段 A：SCST 基础 + 独立模块并行（2-3 周）

5.1 主线：SCST 基础框架

目标：验证 SCST 在 MBE 中可行

# 阶段 A 核心代码目标
class SCSTrainer:
    """SCST 基础训练器"""
    
    def train_step(self, input_batch):
        # 1. 贪心解码（baseline）
        greedy_output = self.model.generate(input_batch, do_sample=False)
        greedy_score = self.critique_ensemble.score(greedy_output)
        
        # 2. 采样解码
        sample_output = self.model.generate(input_batch, do_sample=True)
        sample_score = self.critique_ensemble.score(sample_output)
        
        # 3. REINFORCE 奖励
        reward = sample_score - greedy_score  # 单维奖励
        
        # 4. 策略梯度更新
        loss = -reward * log_prob(sample_output)
        loss.backward()

验收标准：

• SCST 训练 pipeline 端到端跑通
• 在测试专家上，SCST 训练后 Self-Critique 平均分提升 ≥5%
• 训练过程稳定（reward 不震荡）

5.2 并行线 1：探索策略全局化

目标：将 exploration_strategy.py 从专家推荐扩展到全系统

验收标准：

• 三个场景（路由/检索/Prompt）支持探索策略
• 探索日志可追溯
• 阶段 B 可直接作为 SCST 奖励信号接入

5.3 并行线 2：因果推理纳入知识图谱

目标：图谱新增因果推理能力

验收标准：

• 图谱支持因果边的增删查
• MIRAS 检索可利用因果路径增强结果

5.4 并行线 3：多智能体协作框架原型

目标：实现多专家协同回答

验收标准：

• 跨领域问题可触发多 Agent 协作
• 协作回答比单 Agent 回答质量更高（人工评估）

5.5 并行线 4：离线 CoT 框架（策略 C）

目标：搭建离线 CoT 批量处理框架，为 SCST 提供步骤级奖励信号

策略：在线服务不启用 CoT（零额外成本），离线批量 CoT 重跑训练数据

# 离线 CoT 核心流程
class OfflineCoTTrainer:
    async def daily_batch(self):
        # 1. 从在线日志抽样（优先复杂/低分问题）
        samples = self.db.sample_interactions(
            n=200, strategy='priority_complex'
        )
        # 2. CoT 模式重跑
        for sample in samples:
            cot_output = await self.llm.generate(
                prompt=sample.question,
                system=COT_CRITIQUE_PROMPT  # 要求逐步推理
            )
            # 3. 提取步骤级奖励
            rewards = self.extractor.extract(cot_output)
            # 4. 存入 SCST 训练数据
            self.training_db.store(sample, cot_output, rewards)

验收标准：

• 离线 CoT 批量框架可每日自动运行
• 步骤级奖励可被提取（每步评分 + 最弱环节识别）
• 离线成本可控（≤$2/天@200 条抽样）
• 阶段 B 可直接将步骤级奖励接入 SCST 多维奖励函数

六、阶段 B：SCST 升级 + 系统整合（2-3 周）

6.1 多维奖励函数（P0）

前置条件：阶段 A 主线完成（SCST 基础可用）

# 阶段 B 核心升级
class MultiDimensionalReward:
    """8 维帕累托奖励"""
    
    WEIGHTS = {
        'self_critique':    0.25,  # 质量验证
        'answer_evaluator': 0.20,  # 6维评估
        'trust_score':      0.15,  # 信任分变化
        'value_assessment': 0.15,  # 效用价值
        'implicit_feedback': 0.10, # 隐式行为信号
        'compliance':       0.05,  # 合规性
        'cost_penalty':    -0.05,  # 成本效率
        'latency_penalty': -0.05,  # 响应速度
    }
    
    def compute(self, sample_output, greedy_output, context):
        reward = 0.0
        for dim, weight in self.WEIGHTS.items():
            sample_score = self.scorers[dim].score(sample_output, context)
            greedy_score = self.scorers[dim].score(greedy_output, context)
            reward += weight * (sample_score - greedy_score)
        return reward

6.2 智能路由 × SCST（P0）

6.3 Prompt 优化 × SCST（P1）

6.4 阶段 A 并行成果接入 SCST

6.5 多维奖励函数升级（含 CoT 步骤级）

# 阶段 B 升级版：9 维帕累托奖励（含 CoT 步骤级）
WEIGHTS = {
    'self_critique':       0.20,  # 质量验证
    'answer_evaluator':    0.18,  # 6维评估
    'cot_step_accuracy':   0.12,  # ★ CoT 步骤正确性（新增）
    'cot_coherence':       0.05,  # ★ CoT 推理连贯性（新增）
    'trust_score':         0.12,  # 信任分变化
    'value_assessment':    0.12,  # 效用价值
    'implicit_feedback':   0.08,  # 隐式行为信号
    'compliance':          0.05,  # 合规性
    'cost_penalty':       -0.04,  # 成本效率
    'latency_penalty':    -0.04,  # 响应速度
}

阶段 B 验收标准：

• 多维奖励显著优于单维奖励（A/B 测试验证）
• 模型选择成本降低 ≥15%
• Prompt 优化后回答质量提升 ≥5%

七、阶段 C：全协同闭环（2-4 周）

7.1 全模块串联

7.2 稳定性与回归

阶段 C 验收标准：

• Level 6 vs Level 5 所有关键指标均有提升
• 系统延迟增加不超过 20%
• 故障降级到 Level 5 秒级切换
• 连续运行 7 天无重大故障

八、关键里程碑

Week 0  ──── 项目启动
              │
Week 1  ──── SCST Pipeline 搭建完成 + 离线 CoT 框架搭建
              │
Week 2  ──── ★ 里程碑 1: SCST 单维训练验证通过
              │  同时：探索策略/因果推理/多Agent/离线CoT 原型完成
              │  离线 CoT 开始每日批量运行，积累步骤级奖励数据
              │
Week 3  ──── ★ 里程碑 2: Level 5 达成（SCST 基础可用）
              │
Week 4  ──── 多维奖励函数完成（含 CoT 步骤级奖励）+ 智能路由接入
              │
Week 5  ──── ★ 里程碑 3: 9维 SCST > 单维 SCST（A/B 验证）
              │
Week 6  ──── 全模块串联 + 并行成果接入
              │
Week 7  ──── 飞轮效应调优 + CoT 精准在线启用（Router 选择）
              │
Week 8  ──── ★ 里程碑 4: Level 6 达成（全协同闭环验证通过）
              │
Week 9-10 ── 稳定性/回归/性能 · 正式发布

九、风险与应对

十、资源需求估算

10.1 理想配置（全速并行）

10.2 最小配置（串行优先）

十一、度量指标

11.1 阶段 A 结束时（Level 5 基线）

11.2 阶段 B 结束时（Level 5+）

11.3 阶段 C 结束时（Level 6）

十二、相关文档

十三、总结

策略：      SCST 主线 + Level 6 独立模块并行 → 交织推进
CoT 策略：  策略 C — 在线不用（零成本），离线批量 CoT 训练 SCST
时间：      6-10 周（vs 纯串行 12-16 周）
核心风控：  SCST 先验证、逐步叠加、Feature Flags、A/B 对比

阶段 A → Level 5 达成 + 4 个 Level 6 模块就绪（含离线 CoT）
阶段 B → 9维 SCST（含步骤级奖励）+ 路由/Prompt 集成 → Level 5+
阶段 C → 全模块串联 + CoT 精准在线启用 + 飞轮调优 → Level 6 达成

本路线图的核心思想：SCST 是 Level 5→6 的脊柱，但不是所有 Level 6 能力都长在这根脊柱上。独立的四肢（探索、因果、多Agent、Prompt 优化）可以在脊柱成型的同时并行生长，然后在阶段 B/C 接入，形成完整的 Level 6 有机体。离线 CoT 是脊柱的神经系统——在不增加在线成本的前提下，为 SCST 提供从"答案级"到"步骤级"的精细奖励信号升级。

文档版本: v2.0
更新日期: 2026-02-10