公开知识图谱记录
DeepInfer
记录摘要
离线推理引擎;当前版本不含 KV 缓存系统与 P/D 解耦
来自项目知识图谱的有来源实体;具体工具属性仍需补齐。
已记录信息
- 能力: 结构化输出:支持正则、JSON Schema、EBNF 文法
- 能力: 支持 DSpark 投机解码
- 能力: 支持分布式推理、推测解码和结构化输出
- 能力: 支持分布式推理
- 能力: 支持推测解码
- 能力: 支持 SWA Bounded Replay
- 能力: 支持结构化输出
- 部署方式: 离线推理
资料覆盖
知识图谱当前记录了 9 个已知资料维度,另有 9 个维度尚未记录,关联 2 篇公开资料。这些数字只描述资料覆盖,不代表模型性能或适配性已经验证。