Comment stabiliser l’entraînement de grands réseaux de neurones avec muP ?

Nouvelle vidéo ! On parle de muP, une technique pour entraîner des réseaux de neurones dont la dimension tend vers l’infini, tout en faisant en sorte que les dynamiques soient les mêmes qu’à petite échelle. Rejoindre la communauté Machine Learning FR : https://discord.gg/97j8ymj2kA Me suivre : Github : https://github.com/alxndrTL Twitter : https://twitter.com/AlexandreTL2