Une équipe baptisée PrismML a publié en juillet 2026 un modèle de 27 milliards de paramètres qui ne pèse que 5,9 Go, contre 54 Go pour l'original. De quoi le charger sur un Mac, voire un iPhone, sans passer par le moindre serveur. La prouesse ne tient pas à un nouveau modèle : c'est une compression extrême d'un modèle chinois open-weight de la famille Qwen (Alibaba), obtenue en réduisant chaque poids à trois valeurs possibles. PrismML revendique près de 98 % des performances d'origine. Ce chiffre mérite d'être regardé de près.

Quantifier : payer moins de mémoire par poids

Un grand modèle de langage n'est qu'un très gros tableau de nombres, les poids, appris pendant l'entraînement. Les faire tourner, c'est multiplier ces poids par les nombres qui représentent le texte en entrée, des milliards de fois par réponse. Chaque poids occupe donc de la place en mémoire et coûte du calcul.

Par défaut, un poids est stocké en FP16, un nombre à virgule sur 16 bits, soit 2 octets. Pour un modèle de 27 milliards de paramètres, cela fait 27 × 2 = 54 gigaoctets rien que pour charger les poids. Aucun téléphone, aucun portable grand public ne dispose d'autant de mémoire vive. C'est la barrière que franchit la quantification, qui code chaque poids sur moins de bits. Passer de 16 à 8 bits divise déjà la taille par deux ; à 4 bits, par quatre. Les outils grand public d'IA locale comme Ollama ou LM Studio reposent entièrement sur ces poids compressés, au format GGUF. Le prix à payer : une perte de précision, donc de qualité, d'autant plus marquée qu'on descend bas.

Trois valeurs par poids : l'idée BitNet

La compression de Bonsai 27B pousse cette logique à un extrême. Chaque poids est ramené à l'une de trois valeurs seulement, −1, 0 ou +1. On parle de poids ternaires. Un choix parmi trois représente en théorie environ 1,58 bit d'information (log₂ 3), d'où le nom « 1,58 bit » attaché à cette approche, popularisée par les travaux BitNet de Microsoft.

L'intérêt n'est pas que la place gagnée. Quand un poids ne vaut que −1, 0 ou +1, la multiplication disparaît : multiplier par 1 revient à recopier, par −1 à changer le signe, par 0 à ignorer. Le produit matriciel, opération la plus coûteuse de l'inférence, se réduit à des additions. Cela allège le calcul et surtout la consommation, un enjeu réel sur batterie.

Une distinction compte ici. BitNet, à l'origine, entraîne le modèle en ternaire depuis zéro, et le réseau apprend en sachant qu'il n'aura que trois valeurs par poids. Bonsai fait l'inverse, plus difficile. Il part d'un modèle déjà entraîné en pleine précision et le ternarise après coup. Écraser un modèle qui n'a jamais prévu de vivre avec trois valeurs, sans le casser, est la difficulté que PrismML revendique avoir surmontée. Le format ternaire de Bonsai occupe environ 1,7 bit effectif par poids, ce qui ramène les 54 Go à 5,9 Go, une réduction de l'ordre de neuf fois. Une variante encore plus agressive, binaire ({−1, +1}), tombe vers 1,1 bit et vise le smartphone.

« Une IA chinoise » : deux équipes, pas une

Le titre parle d'IA chinoise, et c'est à moitié juste. Le modèle de base est bien chinois, et appartient à la famille Qwen, les modèles à poids ouverts d'Alibaba, publiés sous licence permissive et devenus une brique standard de l'écosystème open-weight mondial. Les différentes reprises de presse donnent des numéros de version légèrement différents pour ce Qwen de 27 milliards de paramètres, signe qu'il faut prendre l'étiquette exacte avec prudence.

La compression vient de PrismML, une équipe distincte du créateur du modèle. C'est la logique même de l'open-weight : Alibaba publie les poids sous licence Apache 2.0, n'importe qui peut les reprendre, les transformer et les rediffuser. Bonsai 27B est donc un modèle chinois retravaillé par une équipe tierce, republié lui aussi en libre accès. Cette chaîne ouverte est autant le sujet que la technique. Sans poids publiés par Alibaba, aucune compression tierce n'est possible.

« 98 % des performances » : ce que le chiffre cache

C'est le point à manier avec précaution. « Conserver 98 % des performances » n'est pas une mesure unique. C'est une moyenne sur une batterie de tests, et cette moyenne dépend entièrement des tests choisis et de la variante mesurée.

Les chiffres avancés varient déjà selon la source. La documentation de PrismML met en avant 98,2 % de performance conservée pour la version ternaire de 5,9 Go ; d'autres relevés, sur un panel de tests différent, situent plutôt la rétention autour de 95 %. Sur le détail, l'écart est réel sans être catastrophique : en code, PrismML rapporte 81,58 contre 82,17 pour l'original ; en usage agentique et outillage, 77,57 contre 79,74 ; en vision, 78,59 contre 81,64. La qualité baisse, modérément, et davantage sur certaines tâches que sur d'autres.

Deux réserves méritent d'être posées. D'abord, ces scores viennent du créateur du modèle, pas d'un tiers indépendant, et cadrent le résultat sous son meilleur jour. Un panel de tests choisi par celui qui vend la compression n'est pas une évaluation neutre. Ensuite, la variante qui tient dans un iPhone n'est pas celle qui affiche 98 %. Le format 5,9 Go vise plutôt un Mac ou un portable à mémoire généreuse ; la version binaire, plus légère et destinée au téléphone, conserve nettement moins, autour de 89 à 90 % selon les mesures. Le « tourne sur iPhone » du titre et le « 98 % » ne désignent pas le même objet.

L'argument le plus solide de PrismML est ailleurs, dans la comparaison avec une compression naïve. Sur un test de mathématiques exigeant (AIME 2026), le format ternaire tient 90,8 sur 100 contre 93,3 pour l'original ; une quantification classique à 2 bits, elle, s'effondre à 57,5. Compresser bêtement détruit la qualité ; la ternarisation soignée la préserve beaucoup mieux à taille comparable.

L'enjeu : de gros modèles hors du cloud

Reste la question du pourquoi. Faire tenir un modèle de cette taille en local a trois effets concrets. La confidentialité, d'abord : les données ne quittent pas la machine, argument central des assistants IA installés à demeure. Le coût, ensuite : aucune facturation par requête, aucun abonnement, aucune dépendance à la disponibilité d'un service distant. Côté performances, PrismML annonce environ 47 jetons par seconde sur une puce Apple M5 haut de gamme, et une fenêtre de contexte de 262 000 jetons, de quoi ingérer de longs documents localement.

Cette bascule vers l'IA locale n'est pas propre à Bonsai. Elle traverse tout l'écosystème open-weight, de DiffusionGemma de Google qui parie sur la vitesse aux petits modèles maison taillés pour le matériel domestique. La ternarisation en est le versant « compression » : au lieu de concevoir un petit modèle, on écrase un grand.

L'enjeu de souveraineté est le sous-texte. Les modèles ouverts d'Alibaba, librement téléchargeables et modifiables, échappent au contrôle d'un fournisseur unique et d'un cloud américain. Une équipe tierce peut les reprendre, les compresser et les faire tourner sur du matériel qu'elle possède, sans autorisation ni connexion. Pour un usage local, cette indépendance vaut souvent autant que le dernier point de performance.

La prochaine vérification utile viendra de tests indépendants du chiffre de 98 %, sur des tâches non choisies par PrismML. Les scores publiés restent ceux du créateur du modèle.

Note méthodologique

Faits techniques et chiffres croisés à partir de la couverture de Developpez.com, de la fiche alphaXiv sur Bonsai 27B, et de l'article source de Frandroid. Le principe de la quantification ternaire à ~1,58 bit renvoie aux travaux BitNet de Microsoft (arXiv 2402.17764). Les numéros de version exacts du modèle Qwen de base diffèrent selon les reprises et sont donnés sous réserve ; les scores de performance émanent de PrismML et ne sont pas validés par un tiers indépendant.