LLMs
Использование LLM
Для использования LLM (Large Language Models) в LSDE вам необходимо настроить доступ: укажите ваши API-ключи, созданные ранее для использования через Cloud, или настройте адрес "localhost", если вы предпочитаете использовать локальную модель.Система мульти-ключей
LSDE позволяет управлять несколькими API-ключами одновременно.Эта система позволяет вам использовать несколько ключей с ограниченными квотами, автоматически переключаясь на те, у которых еще остались кредиты.
Эта функция идеально подходит для максимального использования бесплатных ключей, подлежащих ежедневному обновлению.
Активировав автоматическую ротацию, вы сможете расходовать свои кредиты без ручного вмешательства и в полной безопасности.
При обнаружении ошибки LSDE считает API-ключ исчерпанным и автоматически переходит к следующему. Вы можете настроить несколько циклов ротации (обычно 2), чтобы гарантированно использовать все бесплатные кредиты на всех ваших ключах.
Активация LLM
Именно в футере приложения у вас будет возможность активировать или деактивировать один из ваших доступных LLM.Если ни один LLM не выбран, LSDE попытается использовать LLM fallback, который вы предварительно настроили.
Локальные LLM
Если вы хотите использовать свои модели локально, просто укажите адрес localhost вашего сервера. LSDE подключится к нему для выполнения ваших задач.Как установить локальный LLM?
Скачайте Ollama для вашей операционной системы.
Запустите сервер и установите ваши модели.
Закройте приложение (оно должно оставаться активным в фоновом режиме).
Укажите ваш адрес localhost и соответствующий порт в конфигурации Ollama в LSDE.
Нажмите «Подключить» и выберите одну из ваших моделей.
Обязательно активируйте LLM в строке состояния, расположенной в нижней части программы.