LLMs

Использование LLM#

Для использования LLM (Large Language Models) в LSDE вам необходимо настроить доступ: укажите ваши API-ключи, созданные ранее для использования через Cloud, или настройте адрес "localhost", если вы предпочитаете использовать локальную модель.

Система мульти-ключей#

LSDE позволяет управлять несколькими API-ключами одновременно.
Эта система позволяет вам использовать несколько ключей с ограниченными квотами, автоматически переключаясь на те, у которых еще остались кредиты.

Эта функция идеально подходит для максимального использования бесплатных ключей, подлежащих ежедневному обновлению.
Активировав автоматическую ротацию, вы сможете расходовать свои кредиты без ручного вмешательства и в полной безопасности.

При обнаружении ошибки LSDE считает API-ключ исчерпанным и автоматически переходит к следующему. Вы можете настроить несколько циклов ротации (обычно 2), чтобы гарантированно использовать все бесплатные кредиты на всех ваших ключах.

Активация LLM#

Именно в футере приложения у вас будет возможность активировать или деактивировать один из ваших доступных LLM.
Если ни один LLM не выбран, LSDE попытается использовать LLM fallback, который вы предварительно настроили.

Локальные LLM#

Если вы хотите использовать свои модели локально, просто укажите адрес localhost вашего сервера. LSDE подключится к нему для выполнения ваших задач.

Как установить локальный LLM?#