跳到主要内容
隐界
本地模型

在隐界里接入 Hugging Face TGI 自托管推理

隐界(Enclave)支持 Hugging Face TGI:把模型层指向你自己用 TGI 部署的推理端点(OpenAI 兼容接口),角色就用你私有化的 HF 生态模型回复。适合有 GPU、希望把推理完全私有化的进阶用户与团队。

最近复核:

一句话答案

把隐界的模型层指向你自托管的 HF TGI(OpenAI 兼容端点),即可用私有化推理驱动角色。

要点速览

  • 私有化推理:模型跑在你自己的 GPU / 服务器上。
  • OpenAI 兼容接口,配置方式与接入云端 API 类似。
  • 可用 Hugging Face 上的大量开源模型,自己掌控部署。

如何接入

先用 TGI 起一个 OpenAI 兼容的推理端点并加载你选定的 HF 模型,然后在隐界的模型设置里选择 OpenAI 兼容提供商,把 base URL 指向你的 TGI 地址、填入对应密钥(若有),即可设为默认或按角色指定。

适合谁

有 GPU 资源、深度使用 Hugging Face 生态、或需要把整套推理私有化的团队与进阶用户。配合隐界自部署,模型与数据都留在你自己的基础设施里。

关键事实

接入方式
OpenAI 兼容端点(base URL)
计费
自托管,无第三方 API 费用
适用
私有化推理 / HF 生态模型
数据流向
留在你自己的基础设施内

准备好试一下?

浏览器即开即用,不需要注册任何信用卡。

相关内容

接入其它模型

在隐界里接入 Hugging Face TGI 自托管推理 · 隐界 Enclave