Routage de modèles

En anglais : Model routing

Aussi appelé : model routing, routeur de modèles, LLM router, routage LLM

Méthode qui choisit automatiquement le modèle d'IA le plus adapté à chaque demande, selon sa difficulté et son coût.

Tous les modèles n'ont pas le même prix ni la même vitesse. Un routeur analyse la demande et l'envoie vers un petit modèle rapide pour une question simple, ou vers un modèle plus puissant pour une tâche complexe. Cela réduit la facture et la latence sans trop perdre en qualité. Le routage peut aussi servir de solution de secours quand un fournisseur est en panne.

Exemple

Une application envoie « traduis ce mot » vers un modèle léger et « analyse ce contrat de 40 pages » vers un modèle de raisonnement.

Notions liées

Dans l'actu

IntermédiaireModèles & LLM

Routage de modèles

En anglais : Model routing

Aussi appelé : model routing, routeur de modèles, LLM router, routage LLM

Méthode qui choisit automatiquement le modèle d'IA le plus adapté à chaque demande, selon sa difficulté et son coût.

Tous les modèles n'ont pas le même prix ni la même vitesse. Un routeur analyse la demande et l'envoie vers un petit modèle rapide pour une question simple, ou vers un modèle plus puissant pour une tâche complexe. Cela réduit la facture et la latence sans trop perdre en qualité. Le routage peut aussi servir de solution de secours quand un fournisseur est en panne.

Exemple

Une application envoie « traduis ce mot » vers un modèle léger et « analyse ce contrat de 40 pages » vers un modèle de raisonnement.

Routage de modèles

Exemple

Notions liées

API (interface de programmation)

Latence

Modèle de raisonnement

SLM (petit modèle de langage)

Tarification au token

Dans l'actu

Routage de modèles

Exemple

Notions liées

API (interface de programmation)

Latence

Modèle de raisonnement

SLM (petit modèle de langage)

Tarification au token

Dans l'actu