公开知识图谱记录
Prime Mega MoE
记录摘要
为 MoE 训练增加与前向重叠的反向 kernel。
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 集成: prime-rl
- 性能: 完整训练 step 快 32%–34%
- 性能: 完整训练 step 快 48%–55%
- 性能: 完整训练步骤比 prime-rl baseline 快 32%–34%
- 性能: 完整训练步骤比 TorchTitan 快 48%–55%
- 性能: Qwen3-30B-A3B MoE layer 前向 pass 为 3.11×，耗时由 12.0 ms 降至 3.9 ms
资料覆盖
知识图谱当前记录了 7 个已知资料维度，另有 11 个维度尚未记录，关联 1 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- Prime Intellect — 发布
- Mixture-of-Experts — 用于
- Mega MoE — 基于
- Qwen3-235B-A22B — 评测于
- Qwen3-30B-A3B — 评测于