Le Transformer en passe d'être dépassé ?

Nouvelle vidéo conférence, où l'on étudie les améliorations d'architectures qui viennent progressivement perfectionner et remplacer le Transformer. 0:00 : Introduction 2:27 : Remplacer l'attention ? 4:33 : Mémoire associative 16:09 : Améliorations de Mamba : gating et règle delta 23:11 : Attention différentielle 26:01 : Différence fondamentale entre attention et Mamba 30:07 : Connecter les couches entre elles 34:55 : PostNorm vs PreNorm 37:38 : Mise à l'échelle avec muP 44:49 : Lois d'échelle 46:58 : Mixture of Experts 47:44 : Calculs adaptatifs 53:11 : Echapper aux lois d'échelle ? 55:07 :