Knowledge graph · semantic discovery
MoE 混合专家模型
查找混合专家架构、稀疏激活、路由和相关开源模型。
先看主题地图，再进入选型
理解 MoE 时要同时看总参数量、激活参数量、专家路由、并行方式和推理显存；页面会把架构、机制和模型放在同一条探索路径里。
先发现，再决策
本页用于理解主题范围、发现候选和相关概念；准备按部署、预算或能力约束比较时，请进入上方的对应选型指南。
本页用于理解主题范围、发现候选和相关概念；准备按部署、预算或能力约束比较时，请进入上方的对应选型指南。
主题精选 KG 入口
这里是用于发现本主题的一组精选入口，不代表付费排名，也不等同于官方产品评测；需要完整语义召回和二层总结，请回到首页检索。
机制
Mixture-of-Experts
维基:一种机器学习技术，利用多个专家网络。
机制稀疏混合专家（MoE）
通过稀疏混合专家架构构建大规模Transformer模型。
机制稀疏混合专家架构
维基:一种使用多个专家网络将问题空间划分为同质区域的机器学习技术。
机制混合专家模型（MoE）
64个路由专家加2个共享专家，Top-6激活
机制混合专家（MoE）
每个MoE块含64个专家，采用top-4路由
机制混合 Mamba–Transformer 混合专家架构
与语音编码器配对；30B 总参数中每 token 激活约 4B。
机制稀疏混合专家模型
Step 5 Preview 共 600B 参数，每 token 激活 27B。
机制MoE Routing
每层含1个共享和256个路由专家，每Token激活6个，前三层用哈希路由。
留下这个主题的使用反馈
留言会关联到当前主题页面，保留在 KG 之外，其他访客也可以浏览和点赞。无需登录，不人工审核。
正在读取留言…