Le Grokking : quand une IA comprend (très) longtemps après avoir mémorisé

🧠 Tu entraînes un petit réseau sur une tâche de calcul. En quelques centaines d'étapes, il répond juste sur tous les exemples vus : il a mémorisé. Sur des exemples nouveaux, il reste nul, au niveau du hasard. Et si tu continues à l'entraîner très longtemps après que tout semble figé, sa précision bondit d'un coup jusqu'à quasi 100 % : il a « grokké ». C'est la généralisation retardée. Dans cette vidéo, en trois temps : le phénomène et pourquoi il déroute, le rôle du weight decay qui pousse le modèle du par-cœur vers la vraie règle, et surtout ce qui se passe à l'intérieur — le modèle apprend