先看证据
一个供后续训练使用的基座检查点
ERNIE 5.5 Flash Base 是百度推出的纯文本稀疏混合专家（MoE）模型。它有 280B 个总参数，每个 token 激活 14B 个参数。百度将其作为预训练结束时的检查点发布，没有进行中期训练或后训练。团队可以从这个共同起点继续做领域适配、指令微调或强化学习；它本身并不是经过指令对齐、可直接用于聊天的模型。
模型有 43 层，隐藏维度为 4096，包含 64 个注意力头。百度称，预训练使用 Muon 优化器和 FP8 混合精度，数据量为 33.5T tokens，训练上下文长度为 128K。权重提供 FP8 和 BF16 两种版本。官方另列出微调与推理支持最长 1M tokens；这与 128K 的预训练上下文是不同的长度指标。
混合注意力与多路由 MoE
43 层中有 37 层采用重度压缩注意力（Heavily Compressed Attention，HCA），每 128 个 token 压缩为一个缓存条目；这部分使用 512 维注意力头。其余 6 层采用多头潜隐注意力与稀疏注意力（MLA + DSA），使用 256 维注意力头。百度将这两种注意力组合起来，以控制长上下文下的 KV 缓存与计算开销；MLA + DSA 层则保留 token 级的上下文访问。
每个 MoE 层有 512 个路由专家，每个 token 选择 top-10，另有 1 个共享专家。模型采用多个独立的 sigmoid 路由器，而不是单一路由器；专家在 2048 维潜在空间中运行，相当于隐藏维度的一半。百度称，这种设计下专家 FLOPs 和通信量保持不变。
ECHO、推理部署与训练内核
ECHO 复用主干网络的最后一层预测未来 token，并让同一层充当投机解码的草稿模型。它增加 0.36B 参数，但这部分不计入模型的 headline 参数量。现有材料没有给出 ECHO 相比其他预测方案的实测加速比。
百度提供基于 SGLang 和 vLLM 的部署说明。SGLang 示例使用 `--tp 4`；vLLM 路径要求 vLLM 0.32.0 和 `vLLM-ERNIE` 插件。作为基座模型，它通过 completions 接口调用，而不是 chat 接口。模型权重可在 [Hugging Face](https://huggingface.co/baidu/ERNIE-5.5-Flash-Base) 获取。
训练使用面向 SM90 和 SM100 GPU 的 FlashMask-4 内核。百度报告称，在 SM100 上，相比 FlashAttention-4 MaskMod，前向速度最高提升 175%，反向速度最高提升 74%。这些是百度公布的对比数据。
基准成绩与许可边界
在百度统一评测流程中，ERNIE 5.5 Flash Base 在 30 项基准中的 24 项取得最高分。百度公布的 MMLU-Pro 得分为 78.4，高于同一流程下 DeepSeek-V4-Flash-Base 的 69.2；HumanEval+ 为 82.3，MBPP+ 为 81.5，RepoQA 为 91.7，LongBench-v2 为 48.7。它并非每项都领先：在 HELMET-Rerank 上得分为 56.2，低于 DeepSeek-V4-Flash-Base 的 60.0。上述结果由百度自报，评测使用相同提示词和 few-shot 设置；目前给定材料未提及独立复现或第三方审计。
许可条款也限制了模型的使用范围：材料称，收入低于 5000 万美元时可免费使用；条款不适用于欧盟、英国和韩国，禁止军事用途，并禁止将模型输出用于改进其他 AI 模型，适用法律为香港。权重可下载不代表许可没有限制。
相关资料：[百度技术介绍](https://ernie.baidu.com/release/ernie-5-5-flash-base/)、[百度模型卡](https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16)、[原始报道](https://www.marktechpost.com/2026/11/05/baidu-ernie-5-5-flash-base-280b-moe/)。