要点速览
- 私有化推理:模型跑在你自己的 GPU / 服务器上。
- OpenAI 兼容接口,配置方式与接入云端 API 类似。
- 可用 Hugging Face 上的大量开源模型,自己掌控部署。
如何接入
先用 TGI 起一个 OpenAI 兼容的推理端点并加载你选定的 HF 模型,然后在隐界的模型设置里选择 OpenAI 兼容提供商,把 base URL 指向你的 TGI 地址、填入对应密钥(若有),即可设为默认或按角色指定。
适合谁
有 GPU 资源、深度使用 Hugging Face 生态、或需要把整套推理私有化的团队与进阶用户。配合隐界自部署,模型与数据都留在你自己的基础设施里。
关键事实
- 接入方式
- OpenAI 兼容端点(base URL)
- 计费
- 自托管,无第三方 API 费用
- 适用
- 私有化推理 / HF 生态模型
- 数据流向
- 留在你自己的基础设施内
准备好试一下?
浏览器即开即用,不需要注册任何信用卡。