LLMs

LLM 사용하기

LSDE에서 LLM(Large Language Models)을 사용하려면 액세스 권한을 설정해야 합니다. 클라우드를 통해 사용하려면 미리 생성한 API 키를 입력하거나, 로컬 모델 사용을 선호하는 경우 "localhost" 주소를 설정하십시오.

멀티 키 시스템

LSDE는 여러 개의 API 키를 동시에 관리할 수 있도록 지원합니다.
이 시스템은 할당량(quota)이 제한된 여러 키를 활용하며, 크레딧이 남아 있는 키로 자동 전환해 줍니다.

이 기능은 매일 갱신되는 무료 키의 사용량을 최대화하는 데 이상적입니다.
자동 로테이션(rotation)을 활성화하면 수동 조작 없이 안전하게 크레딧을 모두 소진할 수 있습니다.

오류가 감지되면 LSDE는 해당 API 키가 소진된 것으로 간주하고 자동으로 다음 키로 넘어갑니다. 모든 키의 무료 크레딧을 남김없이 사용할 수 있도록 여러 번의 로테이션 사이클(보통 2회)을 설정할 수 있습니다.

LLM 활성화하기

애플리케이션 하단(footer)에서 사용 가능한 LLM 중 하나를 활성화하거나 비활성화할 수 있습니다.
선택된 LLM이 없을 경우, LSDE는 미리 설정해 둔 fallback LLM 사용을 시도합니다.

로컬 LLM

모델을 로컬에서 사용하려면 서버의 localhost 주소를 입력하기만 하면 됩니다. LSDE가 해당 주소에 접속하여 작업을 실행합니다.

로컬 LLM 설치 방법