MoE 增强前后对比

🏗️ 架构对比

⚡ 性能对比

🎯 功能差异

增强前 (Dense Model)

输入 → [单一处理路径] → 输出
       所有参数都参与每次计算
       通用处理，无专业化

增强后 (MoE Sparse Model)

                    ┌──────────┐
                    │  Router  │ ← 智能路由决策
                    └────┬─────┘
         ┌───────────────┼───────────────┐
         ▼               ▼               ▼
   ┌─────────┐     ┌─────────┐     ┌─────────┐
   │ Expert1 │     │ Expert2 │     │ Expert3 │  ← 专业化专家
   │(情感类) │     │(知识类) │     │(推理类) │
   └────┬────┘     └────┬────┘     └────┬────┘
        └───────────────┼───────────────┘
                        ▼
                     输出 (只激活Top-K专家)

🔬 技术优势

📈 实际效果

训练曲线对比

Loss 值
1.05 ┤●─────────────────────── 增强前 (持平)
1.00 ┤    ●
0.90 ┤        ●
0.80 ┤            ●
0.70 ┤                ●
0.65 ┤                    ●── 增强后 (持续下降)
     └────────────────────────────
       Epoch 1   5   10   15   20

MoE 训练详细记录

💡 使用场景差异

🎮 配置选择建议

📁 模型文件

⚙️ 配置方法

环境变量

# 使用 MoE 模型 (默认)
USE_MOE_MODEL=true

# 关闭 MoE，使用标准模型
USE_MOE_MODEL=false

代码配置 (src/config.py)

# MoE 模型配置
use_moe_model: bool = True  # 是否使用 MoE 增强模型
moe_model_path: str = "training/checkpoints/moe/moe_best.pt"
titans_model_path: str = "training/checkpoints/titans_miras_inference.pt"

📋 总结

MoE 增强的核心价值

1. 更低的 Loss - 从 1.05 降到 0.65 (↓38%)
2. 专业化处理 - 43个专家各司其职
3. 智能路由 - 自动选择最合适的专家处理输入
4. 更好的泛化 - 专家组合覆盖更多场景
5. 可扩展架构 - 符合 Google Gemini 等前沿模型架构

MoE 专家分布

文档生成时间: 2026-01-20 MBE 版本: TITANS+MIRAS+MoE