Formats numériques et co-design : CurveFP ferme l’algèbre sous FP8, MOSAIC réconcilie scaling laws et clusters, l’attention passe en loi de puissance

💡 En résumé

Le batch du 12 août 2026 (50 papiers arXiv cs.LG, dont une forte proportion orientée inférence) marque un changement d’échelle dans l’optimisation des LLM : on ne se contente plus de compresser des formats existants, on reconçoit l’arithmétique elle-même. CurveFP introduit une famille de datatypes logarithmiques « à produits fermés » qui bat FP8 sur la perplexité avec un bit d’élément de moins — et garantit que le produit de deux nombres quantifiés reste dans la représentation. MOSAIC démontre qu’un budget « compute-optimal » calculé sans tenir compte du matériel n’admet aucun optimum intérieur de sparsité pour les MoE : il faut co-concevoir architecture et clusters. Côté architectures, l’attention se généralise en loi de puissance (avec un effondrement empirique observé à l’inférence), les state space models apprennent la conscience temporelle (ChronoSSM), et un modèle de langage évolutionnaire explore et raffine ses propres poids (ELMER). Enfin, Google confirme la montée en puissance de Gemini 3.5 Flash, conçu pour le code et les tâches d’agents autonomes, au moment où l’app Gemini dépasse le milliard d’utilisateurs.

🔥 Tendances : l’optimisation remonte à l’arithmétique

CurveFP : quand le produit de deux nombres quantifiés reste quantifié

Le problème de fond de la quantification basse précision est rarement formulé : la plupart des formats optimisent la fidélité scalaire de chaque valeur, mais laissent inchangée l’arithmétique induite par leurs produits. Or c’est bien le produit (et l’accumulation) qui domine le coût des GEMM. CurveFP attaque ce point précis avec une famille de codebooks « closed-product » : les magnitudes quantifiées sont distribuées à travers des courbes logarithmiques entrelacées sous des échelles de blocs compactes.

Deux idées structurelles portent le système. D’abord, un radix rationnel ajuste la plage dynamique contre la résolution locale — le compromis classique des formats logarithmiques, rendu paramétrable. Ensuite, des indices de courbe uniformes rendent chaque produit non nul algébriquement clos : la formation d’un produit devient un XOR de signe exact et une mise à jour d’indice entier, sans table de correspondance ni arrondi coûteux, et un nombre de phases fini dérivé détermine le calendrier d’accumulation.

Les résultats parlent d’eux-mêmes :

• CurveFP seven (E3C3) bat la perplexité de FP8 tensor-wise sur quatre modèles 7B-9B avec un bit d’élément de moins, et reste dans 1,32 % de la qualité native ;
• CurveFP eight (E4C3/E5C2) abaisse la NMSE des opérandes dans les 36 comparaisons GEMM forward/backward appariées ;
• sur trois triplets appariés de 128,3 M de paramètres, chaque mode boucle un pré-entraînement de 3 milliards de tokens par seed : CurveFP eight atteint une perplexité d’inférence BF16 moyenne de 22,5366 contre 22,5407 pour FP8, avec une pénalité induite par le format plus faible sur les trois seeds ;
• la matrice aval de 36 cellules trouve une perplexité WikiText-103 plus basse pour les checkpoints entraînés en CurveFP eight dans les 12 comparaisons seed-format.

Le point n’est pas anecdotique : c’est la première famille de formats qui clôt l’algèbre au lieu de la subir, ce qui change la donne pour l’entraînement (pas seulement l’inférence) en basse précision.

MOSAIC : compute-optimal n’est pas cluster-optimal

Le papier Compute-Optimal Is Not Cluster-Optimal formule une critique profonde du pipeline standard : on choisit d’abord une architecture et une recette d’entraînement via une scaling law (en optimisant la loss sous contrainte de calcul), puis un étage séparé optimise l’implémentation pour le matériel. Ces deux étages déconnectés laissent sur la table l’essentiel.

MOSAIC reformule le problème : le co-design architecture + systèmes devient un problème d’optimisation unique, couplant une scaling law prédictive avec un modèle de performance calibré qui estime le Model FLOPs Utilization (MFU), le coût de communication, l’empreinte mémoire et le meilleur layout parallèle. L’instanciation cible les MoE épars, où le nombre d’experts, la sparsité de routage et les dimensions des couches MoE affectent à la fois la loss et l’efficacité systèmes.

Le résultat le plus frappant est négatif : dans la plage de sparsité calibrée, un budget de model-FLOPs ignorant l’efficacité n’admet aucun optimum intérieur de sparsité — la loss ajustée décroît de manière monotone avec des modèles plus épars, et c’est le co-design qui tranche. La scaling law est ajustée sur des MoE dont les paramètres actifs vont de 104 millions à 2,7 milliards, avec des tailles totales atteignant 79 milliards de paramètres, et le facteur de sparsité (fraction de paramètres inactifs par token en forward) devient une dimension de scaling à part entière. En clair : « compute-optimal » calculé hors sol ne dit rien de ce qui est optimal sur un cluster donné — la leçon s’applique à tous les budgets d’entraînement planifiés au FLOP près.

🤖 Nouveaux outils : architectures et systèmes

Share First, Route What Remains : le MoE adaptatif par token

Les architectures MoE font face à un arbitrage : trop de paramètres partagés dilue la spécialisation, trop de routage coûte en communication et en déséquilibre. Share First, Route What Remains propose un framework unifié pour le calcul MoE adaptatif par token : une partie du calcul est partagée en priorité (les tokens « faciles » ou redondants), et seul le résidu est routé vers les experts. L’idée prolonge la logique de CurveFP et de MOSAIC : ne dépenser le coût variable (le routage) que là où il apporte de la valeur, en le dimensionnant token par token plutôt qu’au niveau du modèle entier.

ChronoSSM : apprendre à être temporellement conscient

Les state space models autorégressifs (SSM) ont conquis l’efficacité séquentielle, mais leur représentation interne reste souvent « plate » vis-à-vis du temps. ChronoSSM introduit un entraînement dédié à des représentations temporellement conscientes : le modèle apprend à encoder explicitement la position, l’ordre et l’intervalle des événements dans son état latent, au lieu de les inférer implicitement. Pour les séries temporelles, les logs d’agents et tout contexte où « quand » compte autant que « quoi », c’est un pas vers des modèles séquentiels qui raisonnent sur le temps au lieu de le subir.

Power law graph attention : la généralisation qui s’effondre à l’inférence

Papier piège du jour : Power law graph attention présente une généralisation exacte de l’attention scaled dot-product — l’attention classique devient un cas particulier d’un mécanisme de graphe à loi de puissance. Le résultat théorique est propre ; le résultat empirique est un avertissement : la généralisation s’effondre à l’inférence hors de la distribution d’entraînement. Le contraste entre l’élégance de la formulation et la fragilité du comportement est une illustration de plus que l’expressivité théorique ne prédit pas la robustesse en déploiement — un rappel utile alors que les architectures alternatives (SSM, MoE, attention graphique) se multiplient.

ELMER : le modèle de langage évolutionnaire

ELMER (Evolutionary Language Model that Explores and Refines) applique la métaheuristique évolutionnaire à l’entraînement : une population de candidats explore l’espace des poids pendant qu’une phase de raffinement affine les meilleurs individus. L’approche « explore and refine » cible les régimes où le gradient seul stagne (équilibres locaux, plateaux) et où une recherche plus globale peut débloquer l’apprentissage. Encore expérimental, mais représentatif d’une tendance de fond : réintroduire des stratégies d’optimisation non différentiables en complément de la descente de gradient.

Gemini 3.5 Flash : le petit modèle qui doit faire tourner les agents

Côté industrie, Google a confirmé la montée en puissance de Gemini 3.5 Flash, présenté comme conçu pour améliorer le code et les tâches d’agents autonomes — le segment exact que couvrent FlowScout, MERA et TideRL côté recherche. Le contexte d’adoption est massif : l’app Gemini vient de dépasser 1 milliard d’utilisateurs mensuels (14e produit Google à ce palier, à parité avec ChatGPT qui l’a atteint en juin), avec 63 % des utilisateurs qui parlent directement à l’assistant en vocal, plus de 150 millions d’images générées par jour, et 100 millions d’utilisateurs actifs sur iOS. Le modèle Flash est la pièce système : c’est lui qui rend l’agent abordable à l’échelle du milliard d’utilisateurs.

📊 Analyse : trois signaux pour les équipes ML

1. La basse précision change de nature. CurveFP ne compresse pas FP8 — il définit une arithmétique différente, avec des produits exacts dans la représentation. Pour les équipes qui déploient des modèles 7B-9B, la promesse (un bit de moins, perplexité meilleure) se traduit directement en mémoire et en bande passante libérées. Le « 1,32 % de la qualité native » est le chiffre à retenir : la frontière entre quantifié et natif continue de s’estomper.

2. Les scaling laws doivent intégrer le matériel. MOSAIC formalise ce que les équipes d’inférence savent empiriquement : un budget FLOPs optimal sur le papier peut être sous-optimal sur un cluster réel, et l’effet est monotone pour la sparsité MoE — sans co-design, on ne trouve aucun optimum, seulement une direction. Le message opérationnel : la prochaine scaling law de votre organisation devrait prendre en entrée le MFU, la topologie d’interconnexion et le layout parallèle, pas seulement la loss.

3. La diversité architecturale s’accompagne d’une dette d’ingénierie. Entre l’attention en loi de puissance qui s’effondre en déploiement, les SSM qui apprennent le temps et les MoE adaptatifs par token, le paysage technique est en pleine effervescence — mais chaque nouvelle architecture devra prouver sa robustesse hors distribution avant de remplacer le transformer. La leçon de CurveFP s’applique partout : les vraies avancées sont celles qui ferment un problème (l’algèbre, le co-design, le routage résiduel) plutôt que celles qui en ouvrent un autre.

🎯 À retenir

• CurveFP bat FP8 sur la perplexité avec un bit de moins sur quatre modèles 7B-9B : des produits algébriquement clos (XOR de signe + indice entier) qui restent dans la représentation — une première pour les formats basse précision.
• MOSAIC : « compute-optimal n’est pas cluster-optimal » — sans co-design architecture/systèmes, un budget de FLOPs n’admet aucun optimum intérieur de sparsité pour les MoE (scaling laws ajustées de 104 M à 2,7 Md de paramètres actifs, modèles jusqu’à 79 B).
• Share First, Route What Remains unifie le calcul MoE adaptatif par token : partager d’abord, router le résidu.
• ChronoSSM apprend aux state space models des représentations temporellement conscientes ; ELMER explore et raffine par évolution ; l’attention en loi de puissance s’effondre empiriquement à l’inférence.
• Gemini 3.5 Flash (code + agents autonomes) arrive au moment où l’app Gemini dépasse 1 milliard d’utilisateurs (63 % en vocal, 150 M images/jour) — l’optimisation inférence se joue désormais à l’échelle du milliard.