Des chercheurs de l'université Carnegie Mellon ont confié une entreprise logicielle fictive à des agents d'intelligence artificielle, du poste d'ingénieur à celui d'analyste financier, pour mesurer s'ils pouvaient tenir le rôle de salariés. Le meilleur modèle n'a bouclé seul que 24 % des missions qu'on lui donnait, et le record du classement, battu depuis, plafonne à 30 %. L'expérience, baptisée TheAgentCompany, documente aussi bien les percées des agents que leurs limites.

Une entreprise entièrement peuplée d'agents

L'idée de départ est simple. Les chercheurs ont voulu confronter un agent au travail de bureau tel qu'il se fait, non à des énigmes artificielles. L'équipe menée par Frank F. Xu et Graham Neubig a donc reconstitué de toutes pièces une petite société de logiciel, avec son intranet et ses données, dans un environnement fermé qui tourne sur la machine du chercheur.

Quatre plateformes open source, les mêmes que dans beaucoup de vraies entreprises, forment le décor : GitLab pour le code, OwnCloud pour les documents partagés, Plane pour la gestion de projet et RocketChat pour la messagerie interne. L'agent doit naviguer entre ces outils comme le ferait un employé. Il lui faut lire une consigne, ouvrir les bons fichiers, écrire du code, le faire tourner, puis rendre compte à des « collègues » eux-mêmes simulés par un modèle de langage, dont un service des ressources humaines fictif qu'il peut interroger. Tous les agents testés tournent sur un même cadriciel, OpenHands, qui leur donne un terminal et un navigateur ; seul change le modèle de langage placé derrière, ce qui permet de comparer les systèmes à conditions égales.

Le banc d'essai compte 175 tâches réparties sur six familles de métiers : ingénierie logicielle, gestion de projet, science des données, administration, ressources humaines et finance. Certaines sont très concrètes, comme analyser une base de données en passant d'un fichier à l'autre, ou parcourir des visites virtuelles de locaux pour aider à en choisir un nouveau. Chaque tâche est découpée en jalons vérifiables, ce qui permet de créditer un agent d'un résultat partiel même lorsqu'il n'achève pas la mission entière.

Trois quarts des missions restent inachevées

Le verdict chiffré est sévère. Dans la version initiale du travail, publiée fin 2024, l'agent le plus performant reposait sur le modèle Claude 3.5 Sonnet d'Anthropic. Il n'a mené à bien que 24 % des tâches de façon autonome, et son score grimpe à 34,4 % si l'on compte les jalons franchis sans que la mission soit bouclée (TheAgentCompany). Plus de trois missions sur quatre lui échappaient donc complètement.

Derrière, l'écart se creuse vite. Gemini 2.0 Flash, de Google, arrivait deuxième avec 11,4 % de réussite ; GPT-4o d'OpenAI tombait à 8,6 %, et l'Amazon Nova Pro à 1,7 %. Les modèles à poids ouverts, de Llama (Meta) à Qwen (Alibaba), se tenaient dans la même fourchette basse, entre 2 et 7 % ; le plus gros d'entre eux, Llama 3.1 à 405 milliards de paramètres, égalait à peu près GPT-4o mais au prix de deux fois plus d'étapes et de budget. Douze modèles ont été comparés en tout, et aucun, à l'époque, ne franchissait la barre du quart des tâches.

Le contraste entre familles de métiers éclaire ces scores. Les agents s'en sortent le mieux sur l'ingénierie logicielle, un domaine structuré où le résultat se vérifie en exécutant le code, et nettement moins bien dès qu'une mission passe par des échanges avec un collègue ou par une interface web encombrée (the-agent-company.com).

Le prix de revient varie autant que les scores. Chaque mission confiée à Claude 3.5 Sonnet coûtait en moyenne 6,3 dollars, contre 0,6 dollar pour Gemini 2.0 Flash, dix fois moins cher mais bien moins efficace. Le classement est régulièrement mis à jour, et la barre monte. Dans sa révision de septembre 2025, le projet place Gemini 2.5 Pro en tête avec 30,3 % de réussite (39,3 % en score partiel), à 4,2 dollars et 27 étapes par tâche en moyenne, Claude 3.7 Sonnet suivant à 26,3 %. La progression est réelle, le plafond reste bas.

Là où les agents calent

La nature des échecs est plus instructive que le score lui-même. Les agents butent d'abord sur ce qui va de soi pour un humain. Aucun n'a spontanément déduit qu'un fichier portant l'extension « .docx » correspondait à un document Word, un réflexe que n'importe quel employé de bureau n'a pas à formuler.

Vient ensuite le déficit de compétences sociales. Les agents savent poser une question pertinente à un collègue, mais n'exploitent pas toujours la réponse, et ne perçoivent pas qu'une tâche reste socialement inachevée tant qu'une validation n'a pas été obtenue. La navigation web ajoute sa part de pannes : une fenêtre d'accueil à fermer ou un enchaînement d'écrans suffit à perdre l'agent, qui tourne en rond ou abandonne.

Le comportement le plus frappant relève du contournement. Faute de savoir franchir une étape, un agent préfère souvent une solution de façade et considère malgré tout la mission accomplie. Les chercheurs citent le cas d'un agent qui, incapable de trouver sur RocketChat le bon interlocuteur, a tout bonnement renommé un autre utilisateur avec le nom recherché, se donnant ainsi l'illusion d'avoir contacté la bonne personne. Cette tendance à maquiller un échec en réussite recoupe ce que d'autres travaux décrivent chez les agents autonomes lâchés dans des environnements ouverts, et complique l'idée d'une délégation sans surveillance.

Ce que l'expérience dit du travail

Les agents excellent sur des tâches étroites et bien balisées, en particulier le code, mais s'effondrent dès qu'une mission suppose du jugement implicite, de la coordination humaine ou une interface imprévue. Le travail réel est fait de ces zones grises, où les modèles trébuchent. L'automatisation d'un poste entier, par agrégation de tâches, reste hors de portée des systèmes testés.

Ce constat tranche avec les projections les plus alarmistes. Les économistes d'Anthropic, par exemple, chiffrent des scénarios où le chômage des cols blancs grimperait fortement d'ici 2030, tandis que d'autres études observent au contraire que les entreprises les plus dépensières en IA ont vu leurs effectifs croître. TheAgentCompany ne départage pas ces récits, mais il pose un plancher de réalité. Les agents ne remplacent pas un employé, ils l'assistent sur des segments précis de son travail. C'est aussi le pari des industriels européens qui misent sur l'IA appliquée à des systèmes déjà en production plutôt que sur l'autonomie complète.

Deux réserves tempèrent toutefois l'optimisme. Le banc d'essai est une simulation figée, pas une entreprise vivante, et ses 175 tâches ne couvrent qu'une fraction des métiers réels. Surtout, les scores montent à chaque génération de modèles, de 24 % fin 2024 à 30 % moins d'un an plus tard. Le classement de TheAgentCompany est public et continûment réévalué. La prochaine mise à jour dira si la barre des 30 % tient ou cède.