Une 5090, Qwen 3.8 27B, 4 sessions en parallèle : voici la config
Une 5090 à 4 000 € d'occasion, 32 Go de DDR5, bridée à 400 watts sur 600. Et avec ça : 4 agents IA qui travaillent en parallèle, 262 000 tokens de contexte par session, et plus d'un million de tokens de cache (460 000 en VRAM, 600 000 en RAM). C'est la config que j'ai assemblée pour faire tourner Qwen 3.8 27B avec Ninfer, le moteur d'inférence le plus optimisé pour la 5090. Sauf qu'il fallait le corriger : le cache de Ninfer ne tenait pas, et le streaming des outils n'existait pas. Dans cette vidéo, je montre les 4 benchmarks que j'ai construits pour valider mes corrections, et la différenc
Discussion
Rejoignez la communauté pour réagir et poser vos questions.
Aucun message pour l'instant. Lancez la discussion !