IBM Research and Red Hat deployed a 753B open model on H100 GPUs, serving thousands of concurrent coding agents at 5-10x lower cost than commercial APIs.

Extrait publié par IBM Research. Lisez l'article complet sur le site d'origine.

Discussion0

Rejoignez la communauté pour réagir et poser vos questions.

Connexion Rejoindre

Aussi chez IBM Research

A new plugin can enable fast runtime monitoring and controlil y a 2 jours
llm-d 1.0 hardens open-source AI inference for productionil y a 3 jours
New course teaches how AI models run on modern acceleratorsil y a 4 jours
Scaling AI-driven chip design with open agent factoriesil y a 10 jours

Tout voir de IBM Research

How llm-d makes the most of the hardware you already have · AIVSION

Accueil
Le Fil
IBM Research
How llm-d makes the most of the hardware you already have

How llm-d makes the most of the hardware you already have

IBM ResearchLabo · il y a 2 mois

Lire sur research.ibm.com

IBM Research and Red Hat deployed a 753B open model on H100 GPUs, serving thousands of concurrent coding agents at 5-10x lower cost than commercial APIs.

Extrait publié par IBM Research. Lisez l'article complet sur le site d'origine.

Discussion0

Rejoignez la communauté pour réagir et poser vos questions.

Connexion Rejoindre

Aussi chez IBM Research

A new plugin can enable fast runtime monitoring and controlil y a 2 jours
llm-d 1.0 hardens open-source AI inference for productionil y a 3 jours
New course teaches how AI models run on modern acceleratorsil y a 4 jours
Scaling AI-driven chip design with open agent factoriesil y a 10 jours

Tout voir de IBM Research