Un modèle d'IA se résume, au bout du compte, à un immense fichier de nombres, ses « poids », réglés pendant l'entraînement. Claude, ChatGPT ou Gemini gardent ce fichier chez leur fabricant : on s'en sert à distance et l'on paie à l'usage. Un modèle à poids ouverts, au contraire, publie ce fichier. N'importe qui peut le télécharger, le faire tourner sur ses propres machines et l'adapter à ses besoins. Selon Axios, les plus puissants de ces modèles ouverts sont presque tous chinois. Plusieurs acteurs occidentaux veulent changer cela ce mois-ci, et deux d'entre eux ont fait parler d'eux ces derniers jours.
Le premier est Reflection, une jeune entreprise américaine soutenue par Nvidia. Samedi, Axios annonçait la sortie prochaine de son premier modèle ouvert. D'après les sources du site, ce modèle restera d'abord en retrait des modèles américains les plus avancés, mais pourra rivaliser avec les meilleurs modèles ouverts chinois. Lundi soir, The Information écrivait que Reflection avait annoncé ce modèle, sans en donner le nom ni les performances. Axios ajoute que d'autres modèles ouverts occidentaux doivent sortir avant la fin du mois.
La demande existe, mais elle est inégale. Sur les plateformes qui donnent accès à de nombreux modèles, les modèles ouverts ont parfois représenté, ensemble, plus de la moitié de l'usage. En entreprise, là où se concentrent les dépenses, ils ne pèsent qu'une petite part, selon des dirigeants et des analystes cités par Axios. Et les gros clients occidentaux, comme les banques ou le Pentagone, hésitent à adopter des modèles chinois, par crainte pour leur sécurité. C'est ce vide que Reflection veut combler.
Son projet porte un nom cher à Jensen Huang, le patron de Nvidia : l'« usine d'IA ». Une entreprise y réunit trois ingrédients qui lui appartiennent : ses données, un modèle ouvert et sa propre puissance de calcul. Elle obtient un système d'IA sur mesure et bon marché, sans confier ses données à un tiers. Selon Axios, un modèle ouvert de second rang, nourri de données d'entreprise de qualité, peut dans certains cas rivaliser avec les systèmes les plus chers. Les fonds spéculatifs et les sociétés de courtage, qui gardent jalousement leurs données, seraient parmi les plus intéressés. Reflection a déjà signé un partenariat avec le groupe sud-coréen Shinsegae, et loué en masse des serveurs Nvidia à Nebius et à SpaceX. On peut y lire l'intérêt de Nvidia : un modèle fermé tourne chez son fabricant, un modèle ouvert tourne chez le client, sur des puces que le client doit acheter ou louer.
Le second exemple vient d'Europe. L'allemand Aleph Alpha a publié le 3 octobre Kolibri-1, un modèle ouvert de raisonnement en allemand et en anglais, sous licence Apache 2.0, qui n'impose aucune restriction d'usage selon AlphaSignal. Son architecture illustre la course à l'économie. Le modèle compte 78 milliards de paramètres, mais n'en mobilise que 3,5 milliards pour chaque fragment de texte traité. Chacune de ses couches réunit 384 sous-réseaux spécialisés, appelés « experts », et un aiguillage n'en sollicite que six à chaque fois. AlphaSignal résume : la qualité d'un grand modèle pour le coût de calcul d'un petit. Selon sa fiche, il lit d'un seul tenant jusqu'à 262 000 jetons (des fragments de mots), et jusqu'à un million par extrapolation. Ouvert ne veut pas dire léger : il faut au minimum deux cartes graphiques de centre de données, de type A100 ou H100, pour le faire tourner.
Pour qui travaille avec l'IA sans être ingénieur, l'enjeu dépasse le choix d'un abonnement. Une organisation, qu'elle soit une rédaction, une banque ou une administration, pourra faire tourner chez elle un modèle compétent, sans confier ses documents à un fournisseur. La dépense change de nature : on ne paie plus à l'usage, on achète ou l'on loue des machines, et l'on assume leur exploitation. Deux réserves tempèrent l'enthousiasme. Le patron de Reflection, Misha Laskin, reconnaît lui-même que ses modèles mettront du temps à atteindre le meilleur niveau : « construire une grosse fusée prend du temps », a-t-il dit sur CNBC (propos traduits). Et Axios rappelle que les modèles ouverts sont plus difficiles à surveiller et à réguler que les modèles fermés, au moment même où les régulateurs se mobilisent contre les dérapages des agents. Leurs défenseurs répondent que leur large diffusion et leur transparence sont aussi un gain de sécurité.