Lois d’échelle (scaling laws)
En anglais : Scaling laws
Relations empiriques selon lesquelles les performances d’un modèle s’améliorent de façon prévisible lorsque l’on augmente la puissance de calcul, la quantité de données et le nombre de paramètres.
Exemple
Avant de lancer un entraînement coûteux, un laboratoire entraîne une série de petits modèles et extrapole la courbe obtenue pour choisir la taille du modèle final et le volume de données.
Notions liées
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.
FLOPS / FLOP
AvancéUnités de mesure du calcul : le FLOP compte des opérations sur des nombres à virgule flottante, tandis que les FLOPS mesurent combien une machine en effectue par seconde.
Modèle de frontière
IntermédiaireModèle d’IA généraliste qui se situe à la pointe des capacités disponibles à un moment donné, issu d’entraînements parmi les plus coûteux du secteur.
Paramètres (poids)
IntermédiaireValeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
Pré-entraînement
IntermédiairePremière phase d’entraînement, la plus longue et la plus coûteuse, au cours de laquelle un modèle acquiert des connaissances générales à partir d’un très grand volume de données non annotées.
Puissance de calcul (compute)
DébutantCapacité de traitement mobilisée pour entraîner ou faire fonctionner des modèles d’IA, qui dépend du type de puces, de leur nombre et de leur durée d’utilisation.