핵심 요약
- 사설 추론: 모델이 본인 GPU/서버에서 실행.
- OpenAI 호환 API로, 설정 방식은 클라우드 API 연결과 비슷합니다.
- Hugging Face의 다수 오픈소스 모델을 쓰며 배포를 직접 관리합니다.
연결 방법
먼저 TGI로 OpenAI 호환 추론 엔드포인트를 띄우고 선택한 HF 모델을 로드합니다. 그다음 인계의 모델 설정에서 OpenAI 호환 공급자를 선택하고 base URL을 본인 TGI 주소로 지정한 뒤 해당 키(있다면)를 입력하면 기본값이나 캐릭터별로 설정할 수 있습니다.
이런 분께
GPU 자원이 있고 Hugging Face 생태계를 깊이 사용하거나 추론 전체를 프라이빗하게 해야 하는 팀·고급 사용자에게 적합합니다. 인계 셀프호스팅과 결합하면 모델과 데이터가 모두 본인 인프라에 남습니다.
핵심 사실
- 연결 방식
- OpenAI 호환 엔드포인트 (base URL)
- 과금
- 자체 호스팅, 제3자 API 비용 없음
- 적합 용도
- 프라이빗 추론 / HF 생태계 모델
- 데이터 흐름
- 본인 인프라 안에 머무름
한번 써보시겠어요?
브라우저에서 바로 시작하세요. 신용카드 등록도, 설치도 필요 없습니다.