AI-Automate

Infinity-Parser2, Profiling PyTorch et Entraînement Vérifiable : Les Nouveaux Outils Qui Façonnent le Développement IA

sujets-techniquesinfinity-parserpytorchdocument-parsingrlvrgrpogpu-profilingopen-source

💡 En résumé — Cette semaine, trois avancées techniques majeures redessinent le paysage du développement IA : Infinity-Parser2 établit un nouveau standard en parsing de documents avec un RL multi-tâches inédit ; le profiling PyTorch des mécanismes d’attention livre une masterclass d’optimisation GPU ; et le framework Compete Then Collaborate démontre que l’apprentissage par renforcement vérifiable (RLVR) surpasse radicalement l’imitation pour l’entraînement des modèles de code. Trois outils, une même philosophie : la vérification comme moteur de progrès.

🔥 Tendances : La Vérification Devient le Moteur de l’Apprentissage

Infinity-Parser2 : Le Nouveau SOTA du Parsing de Documents

“Infinity-Parser2” (Huang et al., arXiv:2607.07836) n’est pas une simple mise à jour — c’est une réinvention du parsing de documents par l’apprentissage multimodal. Les auteurs couplent un pipeline de synthèse de données contrôlable avec un apprentissage par renforcement multi-tâches (8 objectifs co-entraînés) pour résoudre le problème persistant de la rareté des corpus de parsing annotés.

Le Pipeline de Synthèse

L’équipe construit Infinity-Doc2-5M, un corpus bilingue (chinois/anglais) de 5 millions d’échantillons couvrant une diversité de types de documents, avec annotations complètes : boîtes englobantes, formes canoniques (Markdown, HTML, LaTeX, SMILES, graphiques structurés), et ordre de lecture page entière. C’est le plus grand dataset open-source de ce type.

Le RL Multi-Tâches

Le système de récompenses vérifiables couvre 8 objectifs simultanément :

  1. Parsing de documents
  2. Analyse de mise en page
  3. Parsing de tableaux
  4. Parsing de formules mathématiques
  5. Parsing de graphiques
  6. Parsing de formules chimiques
  7. Document VQA
  8. Compréhension multimodale générale

Un même signal d’optimisation unifie perception, structure et raisonnement.

Les Résultats

Deux variantes sont publiées :

  • Infinity-Parser2-Pro : SOTA avec 87.6% sur olmOCR-Bench et 74.3% sur ParseBench, surpassant DeepSeek-OCR-2, PaddleOCR-VL-1.5 et MinerU2.5
  • Infinity-Parser2-Flash : optimisé pour la latence avec un gain de débit ×3.68 par rapport à Infinity-Parser-7B

La généralisation aux graphiques, formules chimiques et Document VQA confirme qu’il ne s’agit pas d’un overfitting de benchmark mais d’une réelle avancée architecturale.

Compete Then Collaborate : Le RLVR Dépasse l’Imitation

Le papier “Compete Then Collaborate” (Kim, arXiv:2607.08255) livre une leçon contre-intuitive mais précieuse : l’imitation (SFT) peut dégrader les performances d’un modèle de code déjà compétent. Sur MBPP-test, le fine-tuning supervisé fait chuter le score de 76.7% à 72.7%. Sur les problèmes de compétition, la chute est encore plus marquée : de 5.9% à 2.9%.

En revanche, l’utilisation du même curriculum collaboratif comme environnement d’apprentissage par renforcement avec récompenses vérifiables (RLVR) produit l’effet inverse — le score passe de 5.9% à 8.8% (+49% relatif) sur les problèmes de compétition.

Le cadre met en compétition quatre LLM enseignants (Claude, Codex-GPT, Grok, Gemini) classés head-to-head par un juge basé sur l’exécution (tests unitaires + vérification stdin/stdout). Le classement des enseignants (Gemini 77% > Claude 69% = Codex 69% > Grok 50%) importe finalement peu — les résultats côté étudiant sont robustes quel que soit l’enseignant. La clé est la construction d’un curriculum vérifiable, pas la sélection du meilleur professeur.

Un pipeline reproductible on-prem (NVIDIA GB10) avec patches GRPO est publié, permettant à quiconque de reproduire l’approche sans dépendances cloud.

🤖 Nouveaux Outils

Profiling PyTorch : Attention is All You Profile

Le troisième volet de la série “Profiling in PyTorch” (Gosthipaty, Paniego, Paul, Reboul — HuggingFace, juillet 2026) plonge dans les entrailles des implémentations d’attention. Les résultats sont édifiants :

ImplémentationPerformanceNombre de kernels GPU
Attention naïveRéférence5 (+1 Memcpy)
Attention naïve in-placeMeilleure que naive5 (sans Memcpy)
SDPA Math backend3.7× plus lent20 (!!)
SDPA Efficient backend1 kernel fusionné1 (fmha_cutlass)
SDPA Flash backendTrès rapide1 (pytorch_flash)
SDPA cuDNN backendRivalise Flash1 (cudnn_generated)

Les surprises : le backend mathématique de F.scaled_dot_product_attention est 3.7× plus lent que l’attention naïve ! La raison ? Il n’utilise pas les Tensor Cores (sgemm vs s16816), reconstruit le masque causal à chaque appel et ajoute un safe softmax qui multiplie les kernels. Les backends efficients (Flash, Efficient, cuDNN) fusionnent tout en un seul kernel — un seul appel GPU au lieu de 20.

Leçon pour les développeurs : toujours vérifier quel backend SDPA est utilisé, surtout avec les flags par défaut. Le backend mathématique est correct mais désastreux pour la performance.

AgentNAS : Des Architectures Neuronales Conçues par LLM

Complément technique de notre article principal, AgentNAS (arXiv:2607.07984) mérite une mention ici pour son pipeline : un LLM génère une architecture seed, la décompose en “slotted architecture” (modules interchangeables), et un NAS conventionnel explore la combinatoire. Résultat : 11 SOTA sur 17 tâches. Le code est disponible sur github.com/alroimfebruary/AgentNAS.

📊 Analyse : La Vérification Comme Nouveau Paradigme

Trois papiers, un message commun : la vérification est le moteur le plus puissant pour l’apprentissage IA.

Infinity-Parser2 utilise un système de récompenses vérifiables multi-tâches pour unifier 8 objectifs disparates. Compete Then Collaborate utilise des récompenses vérifiables (tests unitaires) pour remplacer l’imitation. Le profiling PyTorch montre que la vérification des performances réelles (profiler traces) révèle des surprises que l’intuition ne détecte pas (le math backend 3.7× plus lent que le code naïf).

Implications pour les Développeurs

  1. Ne faites pas confiance aux API par défaut — le backend Math de SDPA est 3.7× plus lent que la référence naïve. Toujours profiler.
  2. L’imitation n’est pas toujours la solution — pour les modèles déjà compétents, le RLVR surpasse systématiquement le SFT. Les curricula vérifiables sont l’avenir.
  3. Le parsing de documents entre dans une nouvelle ère — Infinity-Parser2 rend obsolètes les approches à base de règles et les OCR traditionnels. L’approche RL multi-tâches est reproductible et open-source.
  4. Les pipelines on-prem sont possibles — le NVIDIA GB10 permet de reproduire le RLVR Compete Then Collaborate sans cloud.

🎯 À Retenir

  1. Infinity-Parser2-Pro : SOTA à 87.6% sur olmOCR-Bench, surpassant DeepSeek-OCR-2 grâce à un RL multi-tâches sur 8 objectifs
  2. Infinity-Parser2-Flash : ×3.68 de débit, idéal pour le passage à l’échelle
  3. Infinity-Doc2-5M : 5M d’échantillons bilingues annotés, le plus grand dataset de parsing open-source
  4. Profiling PyTorch (Part 3) : le backend Math SDPA est 3.7× plus lent que l’attention naïve — connaître ses backends est crucial
  5. Compete Then Collaborate : RLVR +49% là où le SFT fait -51% — l’imitation régresse, la pratique élève
  6. Trois outils, une leçon : la vérification (benchmarks, récompenses, profilers) est le véritable moteur du progrès technique

A lire aussi