Chunking (découpage en fragments)
En anglais : Chunking
Étape de préparation qui découpe de longs documents en fragments plus courts, appelés chunks, avant de les convertir en embeddings et de les indexer pour la recherche.
Exemple
Avant d’alimenter un assistant documentaire, une équipe découpe ses contrats en fragments d’environ un paragraphe, chacun accompagné du nom du contrat et du numéro d’article.
Notions liées
Base de données vectorielle
IntermédiaireSystème de stockage conçu pour enregistrer des embeddings et retrouver très rapidement ceux qui sont les plus proches d’un vecteur donné, même parmi des millions d’éléments.
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Embedding (plongement vectoriel)
IntermédiaireReprésentation d’un texte, d’une image ou d’un autre contenu sous forme de liste de nombres, un vecteur, construite pour que des contenus de sens proche aient des vecteurs proches.
RAG (génération augmentée par récupération)
IntermédiaireArchitecture qui, avant de générer une réponse, recherche dans une collection de documents les passages pertinents et les fournit au modèle de langage comme contexte.
Recherche sémantique
IntermédiaireMéthode de recherche qui retrouve des contenus selon leur sens et l’intention de la requête, plutôt que selon la présence exacte des mots-clés saisis.
Token
DébutantUnité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.