« Garder un humain dans la boucle » est devenu le réflexe de sécurité de toute l'industrie des agents IA. Mais une équipe de chercheurs de l'Université de Tokyo, de l'Université de l'Illinois à Chicago et de plusieurs autres laboratoires vient rappeler que la formule est trop vague pour être utile. Dans un article déposé sur arXiv le 5 juillet 2026, ils présentent HAS-Bench (« évaluation des systèmes humain-agent sous participation humaine configurable »), le premier banc d'essai qui ne demande pas seulement si l'humain intervient, mais quand, comment et par qui. Leur conclusion tient en une phrase : ajouter un humain aide souvent, mais les gains dépendent entièrement de ces trois paramètres — et une intervention mal placée peut casser une tâche que l'agent aurait réussie seul.

Le problème : les benchmarks existants ignorent l'humain

Les bancs d'essai classiques pour agents traitent l'utilisateur comme un fournisseur passif de consignes : on donne une tâche, l'agent se débrouille, on note le résultat. À l'autre extrémité, les benchmarks multi-agents étudient la coordination entre IA, mais modélisent rarement l'humain comme un participant à part entière, doté de droits, de responsabilités et de canaux d'intervention. Entre les deux, la collaboration réelle — celle où un humain clarifie une consigne ambiguë, corrige une sortie intermédiaire ou autorise une action risquée — restait un angle mort.

Pour le combler, les auteurs proposent d'abord HAS-Framework, une représentation en graphe où humains et agents sont des nœuds de même statut, chacun avec des rôles, des permissions, des chemins de communication et une autorité d'action explicites. HAS-Bench en est la déclinaison mesurable : 397 tâches réparties sur six domaines — service client (Retail, Telecom, Airline), expertise ouverte (code et recherche) et négociation (Bargaining) — chacune jouable sous des réglages de participation humaine variables.

Ce que le benchmark fait varier

Deux axes structurent chaque scénario. Le premier est le niveau d'agentivité humaine, sur une échelle de cinq crans : A1 (automatisation totale, aucun humain), A2 (l'humain confirme les étapes clés), A3 (partenariat égal, va-et-vient — le réglage par défaut), A4 (l'humain mène, l'agent assiste) et A5 (piloté par l'humain, l'agent en renfort). Le second axe distingue trois canaux d'interaction :

  • la clarification, pour lever une ambiguïté avant que l'agent ne s'engage dans un plan ou un appel d'outil ;
  • le retour (feedback), pour évaluer ou corriger une sortie intermédiaire pendant l'exécution ;
  • le contrôle, pour autoriser, opposer un veto ou annuler une action risquée ou irréversible avant qu'elle ne s'exécute.

Chaque canal peut être ouvert à la demande de l'agent ou à l'initiative de l'humain. Surtout, HAS-Bench ne se contente pas de compter les réussites : il mesure aussi la qualité du processus via des métriques de trace — pertinence des clarifications, taux d'utilisation des retours, justification des demandes de contrôle, sûreté des actions, répartition de l'initiative, et un « taux d'intervention humaine » (HIR) — plus le coût de la collaboration en tours de dialogue, appels d'outils et jetons consommés.

Les modèles testés couvrent un large spectre : GPT-4.1, GPT-4.1-mini, Claude Sonnet 4, DeepSeek-V3 et Llama 3.1 8B servent de cerveaux d'agent. L'humain, lui, est simulé par GPT-4.1, qui joue aussi le rôle de juge — un choix méthodologique sur lequel on reviendra.

« Quand » : le bon niveau d'intervention, au bon moment

Premier résultat, le plus attendu : le partenariat égal (A3) fait mieux que l'automatisation seule (A1). En moyenne sur les six domaines, il gagne +8,4 points de réussite (Pass@1) et +11,5 points de score de tâche. Sur les tâches sensibles nécessitant une autorisation, le taux de sûreté grimpe de +26,9 points. Et l'humain « rattrape » une partie des échecs de l'agent solitaire : GPT-4.1 récupère ainsi 28,1 % des tâches qu'il échouait en autonomie, GPT-4.1-mini 22,5 %.

Mais pousser l'agentivité plus loin ne paie pas toujours. En passant de A3 à A4 (initiative humaine proactive), la réussite en code monte encore, de 52,2 à 63,5 %, et en recherche de 66,7 à 70,0 % — un gain réel mais décroissant. Surtout, l'effet n'est plus uniforme : le réglage A4 sauve 27 tâches mais en casse 13 qui passaient sous A3. L'analyse des échecs les impute à des « interventions prématurées » ou à des apports « redondants ou distrayants ». La leçon des auteurs : « le vrai enjeu n'est pas d'accorder plus d'agentivité à l'humain, mais d'exercer cette agentivité au bon moment et sous la bonne forme ».

« Comment » : chaque type de problème appelle son canal

C'est peut-être le résultat le plus opérationnel. En isolant les canaux, l'équipe montre qu'aucun n'est universel. La clarification domine sur les problèmes d'asymétrie d'information et de contraintes cachées : il faut faire remonter les faits manquants avant que l'agent ne s'engage. Le retour l'emporte quand il s'agit de réparer une sortie intermédiaire — spécifications multi-parties, vérification itérative, révision de l'objectif en cours de route. Et pour les actions sensibles, seul le contrôle fonctionne : il atteint 100 % de sûreté là où ni la clarification ni le retour ne dépassent la moitié. Autoriser explicitement une action irréversible ne se délègue pas à un autre canal.

Contre-intuitif : ouvrir les trois canaux à la fois n'est pas optimal. Dans cinq des six familles de problèmes, le meilleur canal unique bat la configuration complète. Trop d'interaction introduit de la redondance, du bruit et un coût de coordination — un argument de plus pour calibrer plutôt qu'empiler.

« Par qui » : le style de l'humain change tout

Dernier axe, les personas. À tâche, modèle et niveau d'agentivité identiques, l'équipe fait varier uniquement la manière dont l'humain simulé interagit (trois profils par domaine). L'effet est spectaculaire là où le comportement humain façonne la trajectoire : en négociation, l'écart de réussite entre personas atteint 63 points ; en recherche, 33 points. Fait notable, les personas ne changent presque pas le volume d'intervention humaine (HIR quasi stable), mais bien la façon dont l'échange se déroule et son coût — nombre de questions posées, longueur des dialogues. Autrement dit, un même agent peut se révéler économe ou bavard selon l'interlocuteur, un effet totalement invisible si l'on ne regarde que le score final.

Une capacité de l'agent, pas un interrupteur magique

Le contrepoint honnête du papier : la participation humaine n'aide que si l'agent sait s'en servir. Llama 3.1 8B ne gagne quasiment rien du passage à A3 (−0,2 point, 0,5 % de rattrapage) : sans un socle de compétence, l'aide humaine ne compense pas. À l'inverse, Claude Sonnet 4 en recherche livre une réponse sur 86,7 % des tâches mais sollicite très peu l'humain (11 % d'interventions) — un schéma d'« auto-complétion prématurée » où l'agent tranche seul et rate la cible. Savoir quand demander est donc une compétence à part entière, ni garantie par la puissance brute, ni activable par un simple réglage. C'est exactement l'enjeu que soulèvent les modèles taillés pour l'usage agentique et les travaux sur la robustesse face aux contournements : l'autonomie ne dispense pas de bornes de supervision, elle les rend plus difficiles à placer.

Portée et limites

Pour qui construit des agents, HAS-Bench propose une grille concrète : cesser de traiter « l'humain dans la boucle » comme une case à cocher, et concevoir des politiques d'intervention conditionnelles — quel canal ouvrir selon le type de problème, à quel moment, avec quelle marge d'initiative. Le débat plus large sur le degré de discernement et de supervision à confier aux systèmes IA y gagne un vocabulaire mesurable.

Reste les réserves méthodologiques, que les auteurs ne masquent pas. L'« humain » du benchmark est simulé par un modèle de langage (GPT-4.1), qui sert aussi de juge : la validité repose sur une vérification humaine par échantillons et des barèmes fixes, mais un utilisateur simulé n'est pas un vrai collaborateur, avec ses hésitations et ses angles morts. L'évaluation se fait en un seul tirage, à température nulle. Et deux crans de l'échelle d'agentivité (A2 et A5) ont été écartés des expériences principales. HAS-Bench mesure donc admirablement la structure de la collaboration humain-agent ; il faudra des humains réels pour en confirmer la texture.