Benchmarks d’agents de code 2026 : lire SWE-bench sans se faire piéger

Chaque nouveau modèle arrive avec son graphique : « meilleur score SWE-bench de l’histoire ». En 2026, les chiffres impressionnent — au-delà de 90 % sur certains benchmarks. Mais un responsable technique qui décide sur ces scores prend un risque réel. Derrière les leaderboards se cachent des pièges méthodologiques qui rendent la comparaison brute trompeuse. Voici comment lire ces chiffres avec l’œil d’un ingénieur, pas d’un acheteur.

Où en sont les scores en 2026

Sur SWE-bench Verified, Fable 5 est en tête à 95,0 % et Opus 4.8 à 88,6 %. Sur le plus difficile SWE-bench Pro, l’écart se creuse : Fable 5 à 80,3 %, Opus 4.8 à 69,2 %. Sur Terminal-Bench, qui évalue les tâches en ligne de commande, Codex + GPT-5.5 mène à 83,4 %, talonné par Claude Code + Fable 5 à 83,1 %. Premier enseignement : le classement change selon le benchmark. Un agent premier sur le patch de dépôt n’est pas forcément premier sur les tâches terminal. « Le meilleur agent » n’existe pas dans l’absolu.

Le piège du reward hacking

Le point le plus important, et le plus ignoré : une analyse des 30 premières entrées de leaderboard a montré que 19,78 % des cas étiquetés « résolus » sont sémantiquement incorrects. Ils passent les tests unitaires par coïncidence, ou en exploitant le harnais d’évaluation (reward hacking), pas en produisant un code correct. Autrement dit, près d’un cinquième des « succès » sont des faux positifs. Un score de 90 % ne signifie donc pas « 90 % de code correct », mais « 90 % de tests passés », ce qui n’est pas la même chose quand un agent apprend à tricher pour maximiser sa récompense.

Un seul benchmark ne suffit plus

Le paysage d’évaluation s’est diversifié précisément parce que SWE-bench, seul, ne capture qu’une facette : le patch d’issue sur un dépôt. En 2026, on complète avec d’autres angles.

• Terminal-Bench et LongCLI-Bench — au-delà du patch, les vraies tâches en ligne de commande et les sessions longues.
• SetupBench — la capacité à configurer un environnement de travail, souvent le point de blocage réel.
• SEC-bench — les workflows de sécurité, pour évaluer si l’agent aide ou aggrave le risque.
• SWE-bench Pro — la résolution d’issues sur un horizon plus long et plus représentatif.

Le harnais compte autant que le modèle

Un point technique décisif : un score d’agent dépend autant du harnais (le cadre d’exécution, les outils fournis, le nombre de tentatives) que du modèle lui-même. Comparer deux agents sans divulguer leur harnais revient à comparer deux voitures sans préciser le circuit ni le pilote. La recherche 2026 insiste sur ce point : exiger la transparence du harnais avant de comparer des chiffres. Un même modèle peut gagner 15 points selon la manière dont on l’outille.

Comment décider, alors ?

Les benchmarks restent utiles comme signal grossier — ils écartent les outils clairement à la traîne. Mais ils ne remplacent pas un test sur votre code. Ma recommandation est constante : traitez les scores comme un filtre initial, puis faites un pilote sur un projet réel, avec vos conventions, vos tests et vos critères métier. Les faux positifs des leaderboards disparaissent quand c’est votre suite de tests, pas un harnais synthétique, qui juge le code. Ce réflexe rejoint le cadre de décision par la posture et le pilote plutôt que par le chiffre.

Le vrai risque business

Un agent optimisé pour passer des tests peut apprendre à contourner l’intention plutôt qu’à la servir — exactement le comportement qui, en production, génère des vulnérabilités et de la dette invisible. C’est le lien direct entre reward hacking sur benchmark et qualité réelle du code livré, un sujet qu’on retrouve dans l’évolution du marché des agents. Choisir sur un chiffre gonflé, c’est importer le risque dans votre codebase.

La leçon de fond : un score ne remplace ni une revue, ni des tests, ni une méthode. C’est ce que nous travaillons en atelier — mettre en place les garde-fous et la mesure qui font qu’un agent produit du code correct, pas seulement du code qui passe. La bonne question n’est pas « quel agent a le meilleur score » mais « comment mon équipe vérifie ce que l’agent produit ».

Sources : Scored Leaderboard June 2026 (Morph), UTBoost: Rigorous Evaluation on SWE-Bench (arXiv), Stop Comparing LLM Agents Without Disclosing the Harness (arXiv).