TwIL-8B math, knowledge, instruction-following and code benchmarks against Qwen3.5-9B, Gemma 4 12B and Gemma 4 31B
TwIL-8B math, knowledge, instruction-following and code benchmarks against Qwen3.5-9B, Gemma 4 12B and Gemma 4 31B 查看原始材料 ↗

先看证据

8.79B 参数规模。关键事实
131,072 token 的长上下文窗口。关键事实
MATH-500 评测得分 98.2%。关键事实
4.98 GiB 的 4-bit 量化模型大小。关键事实
GPQA Diamond 评测得分 70.2%。关键事实
AIME 2026 评测得分 88.3%。关键事实

把机制串起来

输入先把素材压到可处理的规模

模型中的“稠密”意味着模型的每个参数都在计算中被使用，与“稀疏”模型（仅激活部分参数）相对。 “解码器-only”模型是指像GPT系列一样，主要用于生成文本的模型架构。 “上下文窗口”指模型一次能处理的最大文本长度，更长的窗口意味着能理解更长的对话或文档。

机制再把计算集中到关键步骤

TwIL-8B 采用了监督微调（SFT）来学习基础的推理模式，接着通过 GRPO/DAPO 强化学习进一步优化其在数学、代码和指令遵循任务上的表现，产生 verbose 版本。 为了控制输出成本和效率，又引入了长度感知强化学习（Length-aware RL），奖励更短的推理链，从而得到 balanced 版本。 模型在训练前对训练数据进行了去污染处理，使用 13-gram 匹配排除与特定评测集（如 AIME, MATH-500）高度相似的内容，以提高在这些评测上的真实表现。

结果最后落到可验证的工作结果

['适合需要高质量数学、代码或指令遵循能力的场景，尤其是在资源受限的部署环境。', '适用于需要生成详细推理过程（verbose 版）或追求效率（balanced 版）的特定应用。', '不适合对通用知识问答有高要求的场景，其知识能力相对较弱。', '模型为非商业许可，不适用于商业化产品集成。']

底座、架构与两个变体

TwIL-8B 是从 IBM Granite 4.2 8B 后训练而来的 8.79B 参数稠密解码器模型。它共 40 层，隐藏维度 4096，32 个注意力头配 8 个 KV 头，只处理英文文本的输入输出。上下文长度 131,072 tokens，继承自底座。权重发布在 Hugging Face，采用 webAI 非商业许可证 1.0；底座本身是 Apache 2.0。

webAI 之前发布的 TwIL 家族是 1.7B 和 3B 的形式逻辑模型，TwIL-8B 把目标扩展到竞赛数学、代码和指令遵循。模型每次回答前会先写一段 `<think>` 推理区块。两个变体共享同一套架构和分词器：balanced 是默认版，推理链更短；verbose 推理更长，面向难度更高的竞赛题。4-bit Q4_K_M GGUF 体积 4.98 GiB，可以跑在 CPU 或显存不大的 GPU 上；bf16 权重每个变体 16.38 GiB。模型卡还提示，生成预算给得太短会截断推理链，示例命令用了 40960 的上下文和 32768 的生成上限。

三阶段后训练如何产出两个版本

训练分三步。第一步是全参数监督微调，数据是数学、STEM 和指令遵循的推理轨迹。第二步用 GRPO/DAPO 强化学习，覆盖数学、代码、STEM 和指令类提示，这一步产出 verbose 变体。第三步是长度感知强化学习，奖励函数按各任务域的长度参考偏向更短的推理链，产出默认的 balanced 变体。

模型卡称训练池用 13-gram 匹配做过去污染，比对的评测集包括 AIME、HMMT、MATH-500 和 GPQA 等。公开材料没有给出完整数据清单、各阶段数据规模和训练算力，也没有披露长度感知 RL 奖励函数的具体设计。

跑分：数学和代码靠前，知识类落后

TwIL-8B 的成绩均为 webAI 自报的高强度 pass@1、开启思考模式；带 † 的分数只在 verbose 变体上测过。数学上，MATH-500 为 98.2，对比中 Qwen3.5-9B 在第三方榜单上是 96.6，Gemma 4 31B 在 Red Hat lighteval 跑出 87.9。AIME 2026 是 88.3，低于 Qwen3.5-9B 的 92.5 和 Gemma 4 31B 的 89.2；AIME 2025 为 88.3，略高于 Gemma 4 31B 的 87.1。

代码方面，LiveCodeBench† 为 81.6，对比 Qwen3.5-9B 的 65.6 和 Gemma 4 31B 的 80.0；但模型卡注明自家测试的 LiveCodeBench 版本没有记录，对手成绩是 v6，这个对比要打折扣。指令遵循上，IFBench† 为 74.4，比 Qwen3.5-9B 的 64.5 高 9.9 分；IFEval 基本持平，91.8 对 91.5。

知识类是真短板。GPQA Diamond 为 70.2，比 Qwen3.5-9B 的 81.7 低 11.5 分，也低于 Gemma 4 31B 的 84.3；MMLU-Pro† 为 76.5，对 Qwen3.5-9B 的 82.5。13 个共同基准上，TwIL-8B 对 Qwen3.5-9B 是 7 胜 6 负；对约 3.5 倍体量的 Gemma 4 31B 是 3 胜 11 负。需要说明，对手分数是各自公布的数值，webAI 没有重跑。

token 省了多少，代价是什么

按模型卡给出的平均每题输出 token 数，AIME 2026 上 TwIL-8B 约用 19.5k，Qwen3.5-9B 用 31.2k，少 38%，但准确率低 4.2 分。HMMT Feb 2026 上是 32.9k 对 40.6k，少 19%，准确率低 3.0 分。webAI 还引用了 GPT-5.5 在 AIME 2026 上每题约 5k tokens 的数字作为对照，但明确说明各家的运行框架和分词器不同，这组对比只能当方向性参考。

这组数字说明的是长度感知 RL 在自家模型上确实压低了推理开销，同时换来了几个点的准确率损失；它不能直接推出 TwIL-8B 比前沿模型更省算力。

选型时该看的三条线

第一条是任务类型。TwIL-8B 的强项在数学和代码这类可验证的计算任务，知识问答不是它的战场，GPQA Diamond 和 MMLU-Pro 的差距摆在那里。模型卡也没有提到额外的安全、偏好或工具使用训练，把它当通用助手或依赖它调用工具都不合适。

第二条是推理预算。模型卡提示生成预算不足会截断推理链、直接拉低成绩，部署时要按最难的题留够 token 上限。默认用 balanced 控制成本，只有遇到硬竞赛题再切 verbose。

第三条是许可证。webAI 非商业许可证 1.0 的具体条款公开材料没有展开，商业产品集成前必须自己核对原文。