公开知识图谱记录
Softmax top-k token choice
记录摘要
线性层打分取 top-k 后 softmax 加权，常用 aux loss 均衡负载
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
资料覆盖
知识图谱当前记录了 6 个已知资料维度，另有 13 个维度尚未记录，关联 1 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- Mixture-of-Experts — 具备特性
- Mixtral 8x7B — 采用
- Qwen3-235B-A22B — 采用