Le groupe Veolia revendique 2 000 agents d'intelligence artificielle « en production » et 37 500 salariés formés à l'IA générative depuis fin 2023. Derrière ces chiffres, sa responsable de plateforme agentique, Noémie Sayada, met en avant une doctrine tenant en trois mots — formation, hybridation, tokenisation — et une gouvernance qui cherche à éviter que ces agents ne partent en vrille. Décryptage d'un des déploiements d'IA d'entreprise les plus avancés de France, et de ses zones d'ombre.
Une plateforme maison, de l'assistant à l'agent
Tout commence en septembre 2023 avec Secure GPT, un ChatGPT interne ouvert à 2 000 utilisateurs pour offrir un accès encadré aux grands modèles de langage. Trois ans plus tard, l'outil est devenu une plateforme agentique développée en interne, hébergée sur les environnements sécurisés du groupe et sur AWS et Google Cloud, autour des briques open source LangChain et LangGraph (La Revue du Digital ; LeMagIT).
La plateforme fonctionne comme un « marché » d'assistants et d'agents, avec trois niveaux de complexité : l'assistant piloté par un simple prompt, l'assistant enrichi par une base de connaissances (RAG), puis l'agent capable d'appeler des API et d'interroger des données structurées via SQL. Depuis 2024, des « flux multi-agents » orchestrent des agents spécialisés sous la houlette d'un modèle superviseur qui route les requêtes ou délègue. Veolia y accède à plus de douze modèles — OpenAI, Google Gemini, Anthropic Claude, Mistral Large, Amazon Nova, Meta Llama — via Amazon Bedrock, Azure OpenAI et Vertex AI (LeMagIT).
Selon les chiffres présentés le 30 juin lors de l'événement Souveraineté numérique, la plateforme réunit désormais de l'ordre de 60 000 utilisateurs répartis dans une quarantaine de business units, chacune dotée de sa propre équipe informatique (La Revue du Digital).
Règle n°1 : former avant de déployer
Pour Noémie Sayada, l'adoption à grande échelle passe d'abord par l'acculturation, côté IT comme côté métiers. Le groupe revendique 37 500 personnes formées à l'IA générative depuis fin 2023, et surtout un réseau de 1 500 « champions IA » essaimés dans les pays, métiers et business units. Ces relais de terrain forment eux-mêmes leurs collègues : dès l'automne 2023, quelque 400 champions répartis dans 57 pays avaient déjà formé plus de 13 000 salariés (LeMagIT).
Cette logique de démultiplication par des pairs, plutôt que par une formation descendante, est la condition pour qu'un groupe de 215 000 salariés répartis sur des dizaines de métiers s'approprie l'outil. Elle rejoint un constat désormais partagé : la compétence IA devient un actif rémunéré en tant que tel, comme le montre la prime salariale attachée aux compétences IA en Allemagne.
Règle n°2 : hybrider sans dépendre
Deuxième principe, l'hybridation : utiliser efficacement les capacités externes — les modèles des grands fournisseurs américains et de Mistral en France — sans se rendre dépendant d'un seul. D'où l'architecture multicloud et le portefeuille de plus d'une douzaine de modèles interchangeables. L'orchestration privilégie l'efficience : Veolia favorise les petits modèles (SLM) partout où ils suffisent, au motif, dit Sayada, que « l'efficience économique rejoint la durabilité et la réduction de l'empreinte environnementale » (La Revue du Digital).
Le groupe a par ailleurs fait un choix assumé : ne pas fine-tuner les modèles. Son pari est que les LLM récents, correctement configurés en RAG, donnent des résultats comparables à des modèles ré-entraînés, tout en simplifiant la maintenance en production. Pour les environnements sensibles, de petits modèles sont déployés localement, au plus près des installations industrielles.
Règle n°3 : tokeniser pour garder la main
La tokenisation — le mot est employé au sens de facturation à l'usage, au token consommé — sert un objectif de contrôle : éviter le lock-in fournisseur et garder la maîtrise des coûts. En raisonnant à la consommation et non par abonnement propriétaire, Veolia peut arbitrer modèle par modèle et cas d'usage par cas d'usage. « L'efficience par cas d'usage » est, selon Sayada, le mot-clé des entreprises matures : chaque déploiement doit dégager un retour sur investissement mesurable, plutôt que de généraliser aveuglément.
C'est aussi une réponse implicite aux craintes de surchauffe des dépenses d'IA, alors que les hyperscalers engloutissent des sommes colossales dans leurs centres de données. Facturer au token, c'est refuser de signer un chèque en blanc.
Des agents sous surveillance
Le point le plus intéressant tient à la gouvernance, car un agent laissé sans contrôle peut halluciner ou dériver. Veolia sépare strictement le développement et la publication : un développeur peut créer et tester un agent, mais ne peut pas le publier sans la validation de l'équipe IT locale — un garde-fou contre le shadow IT (La Revue du Digital).
Chaque agent déployé s'appuie ensuite sur un golden dataset : un jeu de référence de questions, d'interactions et de résultats attendus, qui fixe la ligne de base. Des évaluations récurrentes détectent les régressions et les réponses non conformes, avec notamment la technique du « LLM as a judge » — un modèle chargé de noter les réponses d'un autre au regard de critères définis. L'ensemble reste délibérément adaptable, chaque usine ayant ses procédures, mais sous observabilité centralisée.
Ce que « 2 000 agents » veut dire — et ne dit pas
Les cas d'usage sont concrets et industriels. À l'usine de dessalement d'Oman, un « compagnon IA » surveille les actifs critiques (pompes, membranes) et Veolia revendique 10 % d'énergie et 5 % de produits chimiques en moins. À l'incinérateur de Rouen, l'optimisation de la production de vapeur aurait rapporté 200 000 euros sur le seul site. Le programme phare, « Talk to my plant », vise à assister les opérateurs des 7 000 sites du groupe, dans le cadre de la stratégie GreenUp 2024-2027. Au global, Veolia attribue au numérique et à l'IA environ 23 % de ses gains d'efficience, soit de l'ordre de 60 millions d'euros en 2025 (La Revue du Digital).
Reste à lire le chiffre de 2 000 agents avec prudence. Le mot « agent » recouvre un continuum très large, du simple assistant prompté au flux multi-agents connecté à des API — la plupart de ces 2 000 briques sont plus proches du copilote encadré que du système autonome opérant sans supervision. Le compte a d'ailleurs bondi : la plateforme n'affichait que 214 agents en avril 2025 (LeMagIT). Une telle croissance traduit autant la facilité de créer un agent que sa criticité réelle.
Le contexte invite au même recul. Selon IDC France, 71 % des grandes entreprises françaises avaient déployé au moins un cas d'usage d'IA générative en production fin 2025 (contre 28 % en 2023), mais moins de 30 % de ces déploiements sont réellement industrialisés — intégrés au SI, gouvernés et mesurés. La force de Veolia est justement d'avoir posé, tôt, une doctrine et une gouvernance : former par les pairs, hybrider sans se lier, facturer à l'usage, et surveiller chaque agent avec un golden dataset et un LLM-juge. C'est moins la promesse de 2 000 agents que cette discipline qui distingue un déploiement mûr d'une simple vitrine.