公开知识图谱记录
Mixture-of-Experts
记录摘要
维基:一种机器学习技术，利用多个专家网络。
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 能力: 路由器为每个 token 选取少量专家网络进行处理
- 能力: Dynamic top-k
- 能力: Expert choice routing
- 能力: Group-limited and node-limited routing
- 能力: Hash routing
- 能力: Shared plus routed experts
- 能力: Sigmoid gating with aux-loss-free bias
- 能力: Softmax top-k token choice
资料覆盖
知识图谱当前记录了 9 个已知资料维度，另有 10 个维度尚未记录，关联 39 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- FreeToken — 基于
- Grouped matmul — 用于
- HOPE — 用于
- HOPE — 改进
- Humming — 改进