Un outil débride les GPU Nvidia RTX 20, 30 et 40 pour accélérer les LLM locaux

Synthèse AIVSION

Un outil de « déblocage » circule dans les communautés d'IA locale : il lèverait une limitation volontaire de Nvidia sur les cœurs tensoriels (accumulation FP32) des cartes Turing, Ampere et Ada, mais pas des RTX 50 grand public (Blackwell). Un test de Digital Spaceport sur un montage à quatre RTX 3090 annonce un préremplissage (traitement du prompt) 62 % plus rapide, et un post Reddit évoque jusqu'à 2x, avec un risque de hausse des prix des GPU. Des utilisateurs nuancent toutefois : le gain serait inutile pour la plupart, sauf si le modèle en bf16 tient entièrement dans la VRAM.