Inférence IA : SonicSampler, InferenceBench, AMD Helios et Etched $10,3B — la vague d'optimisation de l'été 2026
💡 En résumé
L’inférence des LLM entre dans une phase d’optimisation systématique. Cinq signaux convergents le confirment : SonicSampler fusionne toute la pipeline de sampling en un seul kernel jusqu’à 16× plus rapide ; AMD Helios défie Nvidia sur le marché des systèmes rack-scale avec des clients comme OpenAI et Microsoft ; Etched lève $300M à $10,3B pour ses puces d’inférence dédiées ; SOAP et Muon passent l’épreuve des centaines de milliards de tokens ; et InferenceBench révèle que les agents IA butent encore sur l’exploration systématique des configurations. Le paysage matériel et logiciel s’accélère — voici le guide complet.
🔥 Tendances — La vague d’optimisation déferle
SonicSampler : un kernel unique pour régner sur le sampling
Le sampling est l’une des opérations les plus fréquentes de l’inférence LLM — et paradoxalement l’une des moins optimisées de manière holistique. SonicSampler, signé par Pragaash Ponnusamy, Shivam Sahni, Jue Wang et Tri Dao, change la donne avec une suite unifiée de kernels Triton tile-aware qui fusionne verticalement toute la pipeline : traitement des logits, sélection des tokens, pénalités de répétition/fréquence/présence, température, top-k / top-p / min-p, décodage contraint par grammaire, ET vérification spéculative — le tout dans un seul kernel batché.
L’astuce centrale est un nouvel algorithme hiérarchique top-k à deux étages qui exploite la structure à faible entropie des sorties LLM pour une sélection efficace sur de grands vocabulaires. Les résultats sont spectaculaires : jusqu’à 10× d’accélération sur le top-k par rapport aux concurrents, et jusqu’à 16× sur les charges de décodage spéculatif hétérogène.
Le point crucial : SonicSampler reste compatible CUDA Graph — pas de lancements dynamiques, donc pas de rupture de graphe. Une avancée majeure pour les charges de production où la prévisibilité de l’exécution est aussi importante que la performance brute.
AMD Helios : un concurrent sérieux à Nvidia
Le lancement du système rack-scale Helios par AMD lors de sa conférence Advancing AI à guichets fermés à San Francisco n’est pas un simple feu de paille. Lisa Su, CEO d’AMD, a présenté ce qu’elle décrit comme « le système rack IA le plus performant de l’industrie, conçu pour entraîner et exécuter les modèles frontières les plus exigeants à échelle massive ».
Les clients sont déjà au rendez-vous : OpenAI, Meta, Oracle, Anthropic et Microsoft prévoient tous de déployer Helios. Satya Nadella a annoncé que Microsoft étendrait son infrastructure Azure avec Helios, et Anthropic a signé un partenariat stratégique pour déployer jusqu’à 2 gigawatts de GPU via Helios (série AMD Instinct MI450).
À en croire The Register, Helios « bat Vera Rubin sur un certain nombre de métriques ». Le marché des racks IA s’évalue désormais en centaines de milliards — Lisa Su a révisé ses prévisions à 1 400 milliards de dollars d’ici 2030 pour le seul marché des accélérateurs IA, soit la taille de l’ensemble du marché des semiconducteurs aujourd’hui.
« Quand vous demandez à un agent de faire quelque chose, il a en fait des dizaines d’étapes, et il doit raisonner, appeler des outils, accéder à des données, et continuer encore et encore jusqu’à ce qu’il résolve le problème — vous avez besoin de beaucoup de GPU pour faire tout ça. » — Lisa Su, CEO AMD
Etched : la startup qui valait $10,3 milliards
La success story d’Etched mérite le détour. Fondée en 2022 par trois dropout de Harvard — Gavin Uberti, Robert Wachen et Chris Zhu — qui dormaient par terre avec une serviette en guise de couverture, la startup a levé $300M en Series C menée par Sequoia pour une valorisation de $10,3 milliards.
Leur thèse ? Construire des puces d’inférence qui exécutent n’importe quel modèle d’IA (mixture-of-experts, Mamba, transformers — pas seulement les transformers comme le croient encore beaucoup d’observateurs), sans avoir besoin de GPU. Leur puce de préfill fonctionne à une tension « dramatiquement plus basse » que tout autre processeur, permettant d’empiler plus de transistors, tandis qu’un nouveau système de mémoire à l’échelle du cluster gère la phase de décodage.
Les validations de poids pèsent lourd : Andrej Karpathy (Anthropic), Noam Brown (OpenAI) et Geoffrey Hinton ont tous testé le matériel. Etched revendique déjà $1 milliard de commandes et un data center de 10 MW en fonction à Milpitas.
🤖 Nouveaux outils — Benchmarks et optimiseurs
InferenceBench : les agents IA ne savent pas encore optimiser
InferenceBench de Jehyeok Yeon, Ben Rank et Maksym Andriushchenko met en lumière une faiblesse frappante des agents IA actuels : ils sont incapables d’explorer systématiquement un espace de configuration.
Le principe est simple : donner à un agent un LLM cible, un GPU H100, un scénario d’optimisation, et deux heures pour déployer un serveur d’inférence compatible OpenAI et optimiser sa vitesse. Quatre scénarios isolent les goulots d’étranglement (latence de prefill, latence de décodage, débit concurrentiel, et un scénario combiné).
Les résultats sont instructifs : les agents atteignent jusqu’à 8,08× d’accélération par rapport à une baseline PyTorch naïve et égalent ou dépassent les moteurs par défaut (4,05× pour vLLM). Mais ils restent en dessous d’une simple recherche d’hyperparamètres sous le même budget temporel (11,53×). L’analyse qualitative révèle pourquoi : les agents énumèrent beaucoup de techniques pertinentes, mais convergent massivement vers un seul framework, testent seulement quelques configurations distinctes, et passent le reste du budget à re-mesurer et réparer plutôt qu’à explorer des stratégies différentes.
« Le goulot n’est pas la connaissance du domaine, mais la capacité à proposer des configurations diverses, les évaluer systématiquement et soumettre la meilleure solution identifiée. » — InferenceBench
JAXBench : l’optimisation de kernels TPU passe à l’échelle
JAXBench répond à un manque criant : alors que des benchmarks comme KernelBench ont propulsé l’optimisation de kernels GPU, aucun équivalent n’existait pour les TPU. La nouvelle suite, conçue pour les Google Cloud TPU v6e, comprend 50 charges JAX issues de modèles de production (Llama-3.1, DeepSeek-V3, Mixtral, Mamba-2, AlphaFold2).
Le résultat clé : l’ajout de documentation TPU augmentée fait passer la correction des kernels générés de 5,8 % à 37,3 % , et la pipeline beam-search Autocomp atteint 1,36× de speedup géométrique sur XLA, avec 1,60× sur les 8 kernels optimisés à la main — récupérant la majeure partie de la borne supérieure Tokamax (2,08×).
SOAP, Muon et le futur de l’entraînement
Le papier de NVIDIA SOAP, Muon, and Beyond règle une fois pour toutes la question de la stabilité des optimiseurs d’ordre supérieur à grande échelle. SOAP et Muon étaient connus pour converger plus vite qu’AdamW, mais leur instabilité numérique limitait leur adoption. L’équipe NVIDIA propose des correctifs — orthogonalisation QR par étape pour SOAP — et démontre que les deux optimiseurs maintiennent leur stabilité jusqu’à 100 millions de tokens par batch, là où AdamW dégrade.
Ils livrent aussi une implémentation distribuée compatible Megatron-LM qui cache les communications derrière le calcul. Le code est open-source dans le repository NVIDIA-NeMo/Emerging-Optimizers. Un pas de plus vers une adoption massive.
DC-Leap, MiniCache et Codec-Gauge : l’inférence sans sacrifice
Trois papiers supplémentaires renforcent la tendance à l’optimisation systématique :
- DC-Leap : décodage par bonds contigus guidé par brouillon pour les LLM distribué, sans entraînement supplémentaire.
- MiniCache : mise en cache réutilisable de programmes avec des interfaces de petits modèles pour une inférence LLM efficace — réduit les appels redondants.
- Codec-Gauge : compression apprenante des KV-cache pour transformers, réduisant la mémoire nécessaire à l’inférence sans perte significative.
📊 Analyse — Le marché de l’inférence devient multipolaire
L’été 2026 marque la fin symbolique du duopole GPU / inference. Trois forces convergent :
- Les puces spécialisées arrivent à maturité : Etched n’est plus un pari — $10,3B de valorisation et $1 milliard de commandes sont des signaux de marché puissants. Google poursuit une approche similaire avec Frozen v2.
- L’optimisation logicielle compense le matériel : SonicSampler (16×), InferenceBench (8×), et SOAP/Muon offrent des gains sans changer de puce — un excellent retour sur investissement.
- AMD devient un troisième pôle crédible : avec OpenAI et Microsoft comme clients, Helios n’est plus un challenger mais un concurrent direct de Nvidia.
Le marché projeté à $1 400 milliards d’ici 2030 selon AMD signifie que la place est suffisante pour plusieurs acteurs. Mais le vrai enjeu n’est pas le silicium — c’est l’orchestration de l’inférence : quel modèle sur quelle puce, avec quelle configuration logicielle, pour quel type de requête ?
🎯 À retenir
| Technologie | Gain | Étape |
|---|---|---|
| SonicSampler | Jusqu’à 16× sur décodage spéculatif | Production-ready |
| AMD Helios | Concurrence directe à Nvidia sur le rack-scale | Clients majeurs déjà engagés |
| Etched ($10,3B) | Puce inférence tout-modèle, 1 Mds $ commandes | Silicon validé, production en cours |
| SOAP / Muon | Stable jusqu’à 100M tokens/batch | Open-source (NVIDIA NeMo) |
| InferenceBench | Agents IA : 8× vs PyTorch, mais 11,5× par grid search | Outil d’évaluation |
| JAXBench | 1,36× à 1,60× speedup sur TPU | Premier benchmark TPU dédié |
| DC-Leap | Accélération décodage sans entraînement | Recherche |
| MiniCache + Codec-Gauge | Cache intelligent + compression KV | Proche production |
Le verdict : l’optimisation de l’inférence devient une discipline à part entière, avec ses benchmarks, ses frameworks logiciels et ses puces dédiées. Le goulot d’étranglement n’est plus le modèle mais le système qui l’exécute.