公开知识图谱记录
vLLM
记录摘要
维基:一个用于大语言模型及相关多模态模型推理与服务的开源软件框架
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 基准测试: AgentX 结果与复现配方已发布
- 能力: 支持在 SpacemiT K3 上进行 CPU 推理
- 能力: 支持 200 多种架构
- 能力: KV cache
- 部署方式: 用于私有VPC或本地部署服务
- 集成: 提供 Step 5 Preview 专用 Docker 镜像及 OpenAI 兼容 API
- 集成: Google Cloud
- 许可: Apache 2.0
资料覆盖
知识图谱当前记录了 11 个已知资料维度，另有 8 个维度尚未记录，关联 40 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- E2B — 具备特性
- Molt — 集成
- Cloudflare — 具备特性
- Daytona — 具备特性
- Modal — 具备特性