Google DeepMind a dévoilé le 10 juin 2026 DiffusionGemma, un modèle de langage à poids ouverts qui abandonne l'écriture « mot après mot » des IA classiques. En générant le texte par blocs entiers, à la manière dont une IA de génération d'images fait émerger une photo à partir de bruit, il revendique une vitesse jusqu'à quatre fois supérieure — tout en tenant dans la mémoire d'une carte graphique grand public. Un pari sur la rapidité plutôt que sur la qualité, taillé pour l'IA qui tourne en local.

Du bruit vers le texte, par blocs

La quasi-totalité des grands modèles de langage actuels, de GPT à Gemini, sont dits « autorégressifs » : ils prédisent un mot (ou plutôt un token, un fragment de mot), puis le suivant, puis le suivant encore, de gauche à droite. Chaque token attend que le précédent soit posé. C'est efficace pour la qualité, mais structurellement séquentiel.

DiffusionGemma renverse la logique. Comme l'explique le blog de Google, le modèle part « d'un canevas de tokens-placeholders aléatoires » — du bruit — puis effectue plusieurs passes successives pour verrouiller progressivement les bons tokens, jusqu'à ce qu'un texte lisible émerge. C'est exactement le principe de la diffusion qui a fait le succès des générateurs d'images comme Stable Diffusion ou Imagen, transposé au texte : on ne dessine pas le résultat trait par trait, on débruite une image floue jusqu'à la netteté.

Concrètement, DiffusionGemma traite un bloc de 256 tokens à la fois. Selon The Decoder, il « part d'un bloc de 256 tokens-placeholders aléatoires et les raffine sur plusieurs passes jusqu'à ce qu'un texte lisible apparaisse ». Tous les tokens du bloc sont calculés en parallèle, à chaque passe.

Pourquoi c'est plus rapide

Le gain de vitesse n'est pas qu'une affaire de logiciel : il découle de la façon dont les cartes graphiques fonctionnent. NVIDIA, qui a optimisé le modèle pour ses puces, l'explique sans détour dans son billet de blog : « Générer un token à la fois est fondamentalement un problème limité par la mémoire — un LLM traditionnel passe le plus clair de son temps à attendre la bande passante mémoire, pas à faire des calculs, ce qui laisse beaucoup de puissance de calcul inexploitée. »

Autrement dit, quand un seul utilisateur interroge un modèle autorégressif sur sa machine, le processeur graphique passe son temps à charger les poids du modèle depuis la mémoire pour produire un unique token, plutôt qu'à mouliner des calculs en parallèle — ce pour quoi un GPU est pourtant conçu. DiffusionGemma, lui, « débruite jusqu'à 256 tokens par étape », ce qui en fait selon NVIDIA « une charge de travail limitée par le calcul — exactement ce pour quoi les GPU NVIDIA sont faits ». Résultat : « environ quatre fois plus rapide qu'un modèle autorégressif équivalent dans le même régime mono-utilisateur ».

Les chiffres avancés par Google : plus de 1 000 tokens par seconde sur un seul GPU NVIDIA H100, et plus de 700 tokens par seconde sur une GeForce RTX 5090, la carte grand public haut de gamme. À titre de comparaison, The Decoder rapporte des mesures de l'ordre de 1 107 tokens/seconde pour DiffusionGemma contre 303 pour un Gemma 4 classique — soit un facteur proche de 3,5 dans les conditions testées.

Une attention « bidirectionnelle » utile au code

Au-delà de la vitesse brute, l'approche par diffusion change la nature de ce que le modèle peut faire. Comme tout le bloc est calculé ensemble, chaque token « peut faire référence à tous les autres, y compris ceux qui viennent après lui ». Cette attention dite bidirectionnelle tranche avec la lecture strictement « de gauche à droite » des modèles autorégressifs.

Cela rend DiffusionGemma particulièrement à l'aise sur les tâches non linéaires : insérer du texte au milieu d'un passage existant, compléter un trou dans du code (code infilling), ou résoudre des problèmes où une partie de la solution dépend d'éléments situés plus loin — The Decoder cite l'exemple du Sudoku, dont chaque case dépend des autres cases encore à remplir. Google positionne donc le modèle pour les « flux de travail interactifs et locaux où la vitesse est critique », comme l'édition en ligne et l'itération rapide.

Ouvert et conçu pour tenir en local

DiffusionGemma s'inscrit dans la famille Gemma 4 de Google, à laquelle a été greffée une « tête de diffusion ». C'est un modèle à mélange d'experts (Mixture of Experts, MoE) de 26 milliards de paramètres au total, mais qui n'en active que 3,8 milliards lors de l'inférence — un mécanisme qui réduit fortement le coût de calcul réel.

Surtout, il est diffusé en poids ouverts, sous licence permissive Apache 2.0, et disponible sur Hugging Face. Une fois quantifié (compressé), il tient dans la mémoire vidéo d'une carte grand public : Google évoque une empreinte de l'ordre de 18 Go de VRAM, ce qui le met à portée de cartes comme les RTX 4090 et 5090 et leurs 24 Go. Tout l'argument du « local » tient là : faire tourner un assistant rapide sur sa propre machine, sans envoyer ses données vers un service cloud.

Ce choix de l'ouverture et de l'embarqué n'est pas isolé. La course aux petits modèles capables de tourner sur l'appareil est désormais un terrain d'affrontement majeur : Apple a, par exemple, détaillé début juin ses propres modèles maison, dont deux pensés pour fonctionner directement sur l'iPhone.

Le revers : la qualité

Cette vitesse a un prix, et Google ne le cache pas. Sur les bancs d'essai habituels — MMLU, GPQA Diamond, LiveCodeBench — DiffusionGemma obtient des scores inférieurs à ceux des modèles Gemma 4 autorégressifs classiques. The Decoder note qu'il est « en retrait sur toutes les catégories de tests ». Google « recommande toujours les modèles Gemma 4 réguliers lorsque la qualité prime », réservant DiffusionGemma aux usages où la latence et l'interactivité comptent davantage que la précision absolue.

L'avantage est par ailleurs surtout pertinent en local, pour un seul utilisateur. Dans le cloud, où les systèmes regroupent (batch) des milliers de requêtes simultanées, les modèles autorégressifs restent très efficaces et le bénéfice du décodage parallèle de la diffusion s'amenuise.

DiffusionGemma reste donc un modèle expérimental — Google le présente comme tel. Mais il signale une direction de recherche concrète : après avoir bouleversé l'image, la diffusion s'attaque sérieusement au texte. Pour les développeurs qui veulent un assistant local nerveux, capable d'éditer du code ou d'itérer vite sur leur propre matériel, c'est une option inédite à tester dès aujourd'hui.

Sources : Blog Google, NVIDIA, The Decoder, Ars Technica.