LLM's

Utiliser un LLM

Pour utiliser des LLM (Large Language Models) dans LSDE, vous devez configurer vos accès : renseignez vos clés API préalablement créées pour un usage via le Cloud, ou configurez une adresse "localhost" si vous préférez utiliser un modèle local.

Système multi-clés

LSDE permet de gérer plusieurs clés API simultanément.
Ce système vous permet d'exploiter plusieurs clés aux quotas limités en basculant automatiquement vers celles disposant encore de crédits.

Cette fonctionnalité est idéale pour maximiser l'usage de clés gratuites soumises à un renouvellement journalier.
En activant la rotation automatique, vous pouvez épuiser vos crédits sans intervention manuelle et en toute sécurité.

Lorsqu'une erreur est détectée, LSDE considère la clé API comme épuisée et passe automatiquement à la suivante.
Vous pouvez définir plusieurs cycles de rotation (généralement 2) pour vous assurer d'avoir récupéré l'ensemble des crédits gratuits sur toutes vos clés.

Activer un LLM

C'est dans le pied de page de l'application que vous aurez la possibilité d'activer ou de désactiver l'un de vos LLM disponibles.
Lorsqu'aucun LLM n'est sélectionné, LSDE essaiera d'utiliser le LLM fallback que vous aurez au préalable configuré.

LLM locaux

Si vous souhaitez utiliser vos modèles localement, il vous suffit de renseigner l'adresse localhost de votre serveur. LSDE s'y connectera pour exécuter vos tâches.

Comment installer un LLM local ?