LLM은 생성할 때마다 제한된 길이의 입력만 읽을 수 있습니다(수만에서 100만 토큰 이상까지 다양). 대화가 길어질수록 앞부분 내용이 윈도 밖으로 밀려나기 쉽습니다. 챗봇을 그냥 오래 쓰면 '깜빡'하는 이유가 이것입니다.
해결책은 윈도를 무한히 키우는 것이 아니라(비용과 속도가 허락하지 않음), 윈도 밖에 영속 저장 계층을 두고 필요할 때 관련 내용을 검색해 다시 채워 넣는 것입니다. 바로 장기 기억과 RAG가 하는 일입니다.
Enclave에서 직접 체험해 보세요
브라우저에서 바로 시작하세요. 신용카드 등록도, 설치도 필요 없습니다.