Mistral AI dévoile Mistral 7B : un modèle de langage open source

Seulement trois mois et demi après avoir obtenu un financement substantiel en tant que start-up naissante, la société française Mistral AI a présenté son premier modèle de langage open source majeur, Mistral 7B. Avec cette annonce, l’entreprise vise à rivaliser avec les modèles de langage génératif IA les plus performants (LLM).

Mistral AI dévoile Mistral 7B : un modèle de langage open source

Le 27 septembre, Mistral AI a fait sensation avec un tweet inattendu publié depuis son compte officiel à 5 heures du matin. Le tweet contenait un lien magnétique, accompagné de caractères alphanumériques ressemblant à une URL. Parmi eux, le plus marquant était « mistral-7B-v0.1 », signifiant le nom du premier modèle de langage important de la start-up française. Cette annonce a été ensuite confirmée de manière plus traditionnelle dans un article de blog.

Mistral 7B, comme son nom l’indique, est un modèle de langage de 7,3 milliards de paramètres. Il est open source, en accord avec la promesse faite par les fondateurs de Mistral AI, qui ont levé 105 millions d’euros il y a quelques mois à peine. Ce financement est intervenu peu de temps après le lancement remarquable de leur entreprise au milieu de l’engouement pour l’IA générative. Présenté comme le résultat de trois mois de travail intense, le modèle dévoilé est positionné par ses créateurs comme surpassant tous les concurrents open source de sa catégorie.

Mistral AI plus puissant que Llama 2

Mistral AI met un accent particulier sur sa rivalité avec Meta. La société de Mark Zuckerberg a introduit son modèle open source Llama 2 en juillet, et elle fait maintenant face à une concurrence féroce sur le terrain de l’IA générative open source. Selon les calculs de la start-up française, son modèle Mistral 7B dépasse non seulement les versions 7B et 13B de Llama 2, mais surpasse également la version 34B de Llama 1 sur de nombreux critères.

Arthur Mensch, PDG de Mistral AI, avait précédemment qualifié la sortie de Llama 2 de « défi intéressant ». Aujourd’hui, sa société peut revendiquer en toute confiance sa place parmi les leaders. Les dirigeants de la start-up espèrent que l’adoption de leur modèle correspondra à leurs ambitions. Publié sous la licence open source Apache 2.0, Mistral 7B est accessible via des plateformes telles que GitHub et Hugging Face, permettant à quiconque de l’utiliser librement. Pour faciliter la communication, la collaboration et les questions de support concernant cette innovation, un serveur Discord a été ouvert.

L’open source comme principe directeur

Mistral AI annonce déjà la formation de « modèles bien plus importants » et mentionne « de nouvelles architectures ». Alors que la start-up vise à combler progressivement l’écart avec les leaders de l’IA générative, tels qu’OpenAI, elle reste fermement engagée dans l’open source. Dans un article de blog du 27 septembre, la société déclare : « Nous croyons qu’en formant nos propres modèles, en les publiant ouvertement et en encourageant les contributions de la communauté, nous pouvons construire une alternative crédible à l’oligopole émergent de l’IA. »

Les dirigeants de Mistral AI misent sur la « demande d’excellence technique » inhérente au monde open source, ainsi que sur la flexibilité et la transparence permises par l’accès ouvert au code source. Les développeurs ont un contrôle total sur le moteur alimentant leurs applications, ce qui leur permet d’ajuster la taille du modèle en fonction de leurs besoins tout en maîtrisant les coûts et la latence. De plus, les modèles open source servent de protections précieuses contre la mauvaise utilisation de l’IA générative, permettant aux institutions publiques et aux entreprises privées de détecter les vulnérabilités et les utilisations inappropriées.

Des offres commerciales en préparation

Pour encourager une utilisation pratique de son modèle de pointe et établir une position parmi les entreprises sur le marché florissant de l’IA générative, Mistral AI prévoit de développer une offre commerciale à l’avenir. L’article de blog précise : « Nous proposerons des modèles propriétaires optimisés pour un déploiement sur site et dans des clouds privés. Ces modèles seront distribués sous forme de solutions ‘white box’, fournissant à la fois les poids et le code source. »

Dans ce contexte, Mistral 7B rivalisera directement avec les LLMs open source de Meta et le ChatGPT Enterprise payant d’OpenAI, qui donne accès aux derniers modèles de langage de grande taille. Au-delà des acteurs occidentaux, Mistral AI surveillera également de près l’écosystème de l’IA chinoise, où Alibaba Cloud a lancé plusieurs modèles open source en chinois et en anglais en août, revendiquant également 7 milliards de paramètres.