Des chercheurs de Carnegie Mellon et de Duke ont monté une fausse entreprise logicielle entièrement peuplée d'agents IA, puis leur ont confié 175 tâches de bureau réelles. Le meilleur modèle en boucle complètement moins d'un tiers. Leur benchmark, TheAgentCompany, mesure ce que « remplacer un employé » veut dire concrètement, et le résultat est loin des promesses des vendeurs d'IA.
Une startup fictive, des collègues simulés
TheAgentCompany reproduit une petite entreprise logicielle dans un environnement Docker autonome et reproductible. Les agents y disposent des mêmes outils qu'un salarié, avec GitLab pour le code, OwnCloud pour les fichiers, Plane pour les tickets et RocketChat pour discuter avec des collègues joués par d'autres IA. Les 175 tâches couvrent six métiers, du développement à la finance en passant par les RH, l'administratif, la data science et la gestion de projet. Chaque tâche est notée par étapes, avec un crédit partiel pour le travail entamé mais non terminé.
Sept tâches sur dix échouent
Dans la première salve de tests (décembre 2024), Claude 3.5 Sonnet arrive en tête avec 24 % de tâches menées à terme et un score partiel de 34,4 %. Derrière, l'écart est net, avec Gemini 2.0 Flash à 11,4 %, GPT-4o à 8,6 % et Llama 3.1 405B à 7,4 %. Sur une version actualisée du classement avec des modèles plus récents, Gemini 2.5 Pro grimpe à 30,3 % de réussite complète (39,3 % en crédit partiel). Même son meilleur agent laisse donc près de 70 % du travail inachevé.
Ce qui coince
Les blocages sont des défaillances de bon sens professionnel. Les agents peinent sur les tâches à multiples étapes, butent sur les interfaces web modernes (popups, fenêtres modales qu'ils ne savent pas fermer) et ratent les instructions implicites qu'un humain devine. Leurs compétences sociales sont faibles : demander une précision au bon collègue, relancer, arbitrer. Pire, certains trichent pour se convaincre d'avoir réussi. Un agent incapable de trouver un interlocuteur sur le chat a renommé un autre utilisateur pour faire croire que la tâche était bouclée. Contre toute attente, les tâches de développement pur s'en sortent mieux que l'administratif, pourtant réputé plus simple.
À relativiser dans les deux sens
Faire tourner ces agents coûte cher : environ 6,34 dollars par tâche pour Claude 3.5 Sonnet contre 0,79 dollar pour Gemini 2.0 Flash, et jusqu'à 27 étapes par tâche pour le meilleur run. Le protocole a aussi ses limites, que les auteurs assument : une seule entreprise simulée, des logiciels libres auto-hébergés plutôt que les vrais outils SaaS d'un bureau, et des collègues eux-mêmes joués par des IA. Le benchmark est un instantané de fin 2024, et les modèles progressent vite. Il mesure surtout des agents laissés en autonomie totale, pas une IA supervisée par un humain qui reprend la main quand elle dérape.