要点速览
- 私有化推理:模型跑在你自己的 GPU / 服务器上。
- OpenAI 兼容接口,配置方式与接入云端 API 类似。
- 适合高并发、对延迟与成本有要求的进阶部署。
如何接入
先用 vLLM 起一个 OpenAI 兼容的推理端点,然后在隐界的模型设置里选择 OpenAI 兼容提供商,把 base URL 指向你的 vLLM 地址、填入对应的密钥(若有)。之后即可把该模型设为默认或按角色指定。
适合谁
有 GPU 资源、希望把整套推理私有化、或需要为多用户/高并发场景提供稳定吞吐的团队与进阶用户。配合隐界自部署,模型与数据都在你自己的基础设施里。
关键事实
- 接入方式
- OpenAI 兼容端点(base URL)
- 计费
- 自托管,无第三方 API 费用
- 适用
- 高并发 / 私有化推理
- 数据流向
- 留在你自己的基础设施内
准备好试一下?
浏览器即开即用,不需要注册任何信用卡。