跳到主要内容
隐界
本地模型

在隐界里接入 vLLM 自托管推理

隐界(Enclave)支持 vLLM:把模型层指向你自己部署的 vLLM 推理服务(OpenAI 兼容接口),角色就用你私有化、高吞吐的本地部署回复。适合有 GPU 资源、追求私有化与高并发的进阶用户。

最近复核:

一句话答案

把隐界的模型层指向你自托管的 vLLM(OpenAI 兼容端点),即可用私有高吞吐推理驱动角色。

要点速览

  • 私有化推理:模型跑在你自己的 GPU / 服务器上。
  • OpenAI 兼容接口,配置方式与接入云端 API 类似。
  • 适合高并发、对延迟与成本有要求的进阶部署。

如何接入

先用 vLLM 起一个 OpenAI 兼容的推理端点,然后在隐界的模型设置里选择 OpenAI 兼容提供商,把 base URL 指向你的 vLLM 地址、填入对应的密钥(若有)。之后即可把该模型设为默认或按角色指定。

适合谁

有 GPU 资源、希望把整套推理私有化、或需要为多用户/高并发场景提供稳定吞吐的团队与进阶用户。配合隐界自部署,模型与数据都在你自己的基础设施里。

关键事实

接入方式
OpenAI 兼容端点(base URL)
计费
自托管,无第三方 API 费用
适用
高并发 / 私有化推理
数据流向
留在你自己的基础设施内

准备好试一下?

浏览器即开即用,不需要注册任何信用卡。

相关内容

接入其它模型

在隐界里接入 vLLM 自托管推理 · 隐界 Enclave