- La solution de cache KV (clé-valeur) intègre des serveurs de stockage Supermicro Petascale, le logiciel IBM Storage Scale, le logiciel d'inférence NVIDIA Dynamo et des commutateurs Ethernet NVIDIA Spectrum-X
- Les tests de performance montrent que la solution de cache KV réduit le délai d'obtention du premier token (TTFT) pour les fenêtres de contexte longues par rapport aux systèmes sans cache KV
- Les clients peuvent améliorer considérablement l'efficacité de l'inférence grâce à une utilisation accrue du GPU, un débit plus élevé et une meilleure évolutivité de l'infrastructure
SAN JOSÉ, Californie, 5 novembre 2026 /PRNewswire/ -- Supermicro, Inc. (NASDAQ : SMCI), un fournisseur de solutions informatiques complètes en matière d'IA, d'entreprise, de stockage et de 5G/Edge proposant des Data Center Building Block Solutions® (DCBBS), annonce aujourd'hui une nouvelle solution de stockage de cache KV avec IBM et NVIDIA. La solution conjointe intègre des serveurs de stockage tout flash Supermicro Petascale utilisant des processeurs AMD EPYC série 9005 (« Turin »), le logiciel IBM Storage Scale, ainsi que le logiciel de framework d'inférence NVIDIA Dynamo et le réseau Ethernet Spectrum-X.
Ensemble, ces technologies peuvent réduire considérablement le temps nécessaire aux modèles d'IA pour commencer à générer une réponse, un avantage crucial à mesure que les entreprises adoptent des flux de travail d'IA autonomes et à contexte long. L'extension de la capacité du cache KV au-delà de la mémoire GPU locale peut améliorer l'utilisation du GPU et le débit d'inférence, tout en permettant une haute disponibilité du contenu du cache KV et une mise à l'échelle non perturbatrice de la capacité du cache KV. Il en résulte une architecture d'inférence plus évolutive et résiliente, offrant des expériences d'IA plus rapides et plus réactives.
« À mesure que les charges de travail d'IA s'étendent de l'entraînement à l'inférence, les entreprises et les néoclouds déployant des charges de travail d'inférence à haut débit caractéristiques de l'IA agentique et de l'IA générative multi-tours à contexte long doivent éliminer les goulots d'étranglement pour améliorer l'efficacité des GPU », déclare Charles Liang, président et CEO de Supermicro. « Notre solution avec IBM et NVIDIA démontre clairement ces gains de performance. »
Pour un récapitulatif vidéo de ce lancement, cliquez ici.
Les charges de travail d'inférence sont en deux phases : préremplir et décoder. Lors du préremplissage, le texte d'entrée est converti en tokens et traité par le LLM pour générer les états clé-valeur (KV) intermédiaires nécessaires à l'inférence. En stockant ces états KV précédemment calculés dans un cache KV persistant, le système peut les réutiliser au lieu de recalculer le même contexte pour les requêtes suivantes. Les flux de travail agents, les assistants de codage, les RAG à contexte long, l'IA multimodale et les applications à plusieurs tours peuvent générer un état KV substantiel lors du traitement de vastes bases de code, de documents, de conversations, d'images et d'autres contextes, dépassant rapidement la mémoire GPU et CPU et entraînant la nécessité de décharger le cache KV vers un stockage réseau partagé de haute capacité.
La solution de cache KV de Supermicro, IBM et NVIDIA fournit cette couche de stockage persistante, contribuant à améliorer l'efficacité de l'inférence, le débit et l'évolutivité tout en réduisant les calculs redondants.
Les principaux avantages pour le client de la solution de cache KV sont les suivants :
- Validation de la solution conjointe – Supermicro, IBM et NVIDIA ont effectué des tests approfondis au niveau du cluster pour mesurer les performances, y compris des scénarios de trafic réseau à forte concurrence et à voisins bruyants.
- Performances d'inférence considérablement plus rapides et plus cohérentes – Lors de tests conjoints menés par Supermicro et NVIDIA, avec un LLM de 120 milliards de paramètres, le cache KV persistant a permis d'obtenir un TTFT jusqu'à 56 fois plus rapide avec des invites de 130 000 tokens.[1] Lorsque la longueur d'entrée est passée de 30 000 à 130 000 tokens, le TTFT n'a augmenté que de 0,377 seconde avec le cache KV, contre 29,55 secondes sans celui-ci, ce qui permet des performances plus cohérentes pour les charges de travail à contexte long.
- Utilisation et débit GPU plus élevés – En conservant le contexte fréquemment réutilisé disponible en dehors de la mémoire GPU, la solution contribue à réduire le temps d'inactivité du GPU, à augmenter le débit d'inférence et à prendre en charge une plus grande concurrence sans augmenter proportionnellement les ressources GPU.
- Résilience d'entreprise et opérations d'IA de confiance – Un cache KV persistant et hautement disponible aide à protéger l'état d'inférence mis en cache tout en fournissant un accès partagé entre les nœuds et les clusters GPU, prenant en charge des services d'IA plus résilients et plus efficaces en termes de stockage à grande échelle.
- Infrastructure d'IA validée et clé en main – Supermicro, IBM et NVIDIA ont validé conjointement l'architecture intégrée dans des scénarios de forte concurrence et de voisinage bruyant, en combinant NVIDIA Dynamo, le logiciel IBM Storage Scale, les serveurs Supermicro Petascale et le réseau NVIDIA Spectrum-X.
- Services de déploiement accéléré – Les services d'intégration en usine et de déploiement sur site de Supermicro peuvent réduire le temps de déploiement de cette solution de plusieurs semaines à quelques jours.
« Les entreprises ont besoin d'une méthode fondamentalement meilleure pour mettre à l'échelle l'inférence de l'IA. Ensemble, IBM, Supermicro et NVIDIA proposent une solution de cache KV haute performance et résiliente qui aide les clients à maximiser leurs investissements en GPU, à évoluer indépendamment de la puissance de calcul et à améliorer considérablement l'efficacité de leur infrastructure », déclare Sam Werner, directeur général d'IBM Storage. « Cette collaboration représente une étape importante vers une inférence d'IA d'entreprise plus évolutive, fiable et rentable. »
« L'IA agentique et les applications à contexte long dépendent de la réutilisation efficace du contexte à travers de nombreuses étapes, et NVIDIA Dynamo aide à orchestrer l'inférence distribuée afin que les entreprises puissent obtenir un débit utilisable plus élevé de chaque GPU », déclare Shruti Koparkar, responsable produit d'inférence IA chez NVIDIA. « En associant NVIDIA Dynamo et Spectrum-X Ethernet aux serveurs de stockage Supermicro Petascale et à IBM Storage Scale, cette solution de cache KV crée un niveau de stockage partagé haute performance capable de réduire les calculs redondants, d'améliorer le délai d'obtention du premier token et d'aider les clients à faire évoluer des services d'inférence IA résilients. »
Pour plus d'informations sur les solutions Supermicro et IBM, cliquez ici, et pour lire le Redbook IBM, Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference, cliquez ici.
À propos de Super Micro Computer, Inc.
Supermicro (NASDAQ : SMCI) est un leader mondial dans le domaine des solutions informatiques complètes optimisées pour les applications. Fondé et opérant à San José, en Californie, Supermicro s'attache à proposer des innovations inédites pour les infrastructures informatiques d'entreprise, infonuagiques, d'IA et de télécommunication 5G et périphériques (Edge). Fournisseur de solutions informatiques complètes, Supermicro propose des solutions de serveurs, d'IA, de stockage, d'Internet des objets, de commutateurs, des logiciels et des services d'assistance. Son expertise en matière de conception de cartes mères, d'alimentations et de châssis soutient également ses activités de développement et de production, favorisant l'innovation de nouvelle génération, du cloud à la périphérie, pour ses clients du monde entier. Ses produits sont conçus et fabriqués en interne (aux États-Unis, à Taïwan et aux Pays-Bas). L'entreprise tire parti de ses activités mondiales pour accroître son envergure et son efficacité, tout en optimisant le coût total de possession et en réduisant son impact environnemental grâce à l'informatique verte. Sa gamme primée de solutions Server Building Block Solutions® permet aux clients d'adapter leurs systèmes à leurs charges de travail et applications précises en choisissant parmi une vaste gamme de systèmes reposant sur des composants flexibles et réutilisables, qui prennent en charge un ensemble complet de facteurs de forme, de processeurs, de mémoires, de processeurs graphiques, de solutions de stockage, de réseau, d'alimentation et de refroidissement (climatisation, refroidissement à air libre ou refroidissement par liquide).
Supermicro, Server Building Block Solutions et We Keep IT Green sont des marques commerciales et/ou des marques déposées de Super Micro Computer, Inc.
Tous les autres noms, marques et marques déposées appartiennent à leurs propriétaires respectifs.
1Résultats détaillés dans IBM Redbook : https://www.redbooks.ibm.com/docs/MD260021/MD260021.html
