Google affirme que son IA bat GPT-4 dans la plupart des tests, tandis que Microsoft affirme que GPT-4 est meilleur, avec les bonnes invites.

Image: Rani Shoket

La semaine dernière, Google a lancé sa nouvelle IA, ou plutôt son nouveau grand modèle de langage, Gemini. Le modèle Gemini 1.0 est disponible en trois versions, Gemini Nano devrait être le mieux adapté aux tâches sur un appareil spécifique, Gemini Pro devrait être la meilleure option pour une plus large sélection de tâches et Gemini Ultra est le plus grand modèle de langage de Google qui devrait gérer les tâches les plus complexes. tâches que vous pouvez lui confier.

Google a pris soin de souligner lors du lancement de Gemini Ultra que le modèle de langage était meilleur que la dernière version du GPT-4 d’OpenAI dans 30 des 32 tests les plus utilisés pour mesurer les capacités des modèles de langage. Les tests couvrent tout, de la compréhension écrite et diverses questions mathématiques à l’écriture de code pour Python et à l’analyse d’images. Dans certains tests, seuls quelques dixièmes de point de pourcentage différaient entre les deux modèles d’IA, tandis que dans d’autres cas, il y avait une différence allant jusqu’à dix points de pourcentage.

Image: Google

Cependant, la réussite la plus impressionnante de Gemini Ultra est probablement qu’il s’agit du premier modèle de langage capable de battre les experts humains dans les tests MMLU (compréhension massive du langage multitâche) où Gemini Ultra et les experts ont été confrontés à des tâches de résolution de problèmes dans 57 domaines différents, allant de des mathématiques et de la physique à la médecine, au droit et à l’éthique. Gemini Ultra a réussi à obtenir un résultat de 90,0 pour cent, tandis que l’expert humain AIn a atteint « seulement » 89,8 pour cent.

Le lancement de Gemini se déroulera par étapes, la semaine dernière déjà, Gemini Pro est devenu disponible au public, lorsque le chatbot de Google Bard a commencé à utiliser une version modifiée du modèle de langage, et Gemini Nano est intégré à un certain nombre de fonctions différentes sur le Pixel 8. Pro. Gemini Ultra n’est pas encore prêt pour le public, affirme Google, étant encore en cours de tests de sécurité et partagé uniquement avec une poignée de développeurs et de partenaires, ainsi qu’avec des experts en responsabilité et en sécurité de l’IA. Cependant, l’idée est que Gemini Ultra sera disponible au public via Bard Advanced lors de son lancement au début de l’année prochaine.

Microsoft contredit désormais les affirmations de Google selon lesquelles Gemini Ultra peut battre GPT-4 en demandant à GPT-4 d’exécuter à nouveau les mêmes tests, mais cette fois avec des invites ou des entrées légèrement modifiées. En novembre, des chercheurs de Microsoft ont publié une recherche sur quelque chose qu’ils ont appelé Medprompt, un mélange de différentes stratégies pour insérer des invites dans le modèle de langage afin d’obtenir de meilleurs résultats. Vous avez peut-être remarqué vous-même comment les réponses que vous obtenez de ChatGPT ou les images que vous obtenez du créateur d’images de Bing deviennent légèrement différentes lorsque vous modifiez un peu la formulation, un peu comme ça, mais l’idée derrière Medprompt est bien plus avancée. 

Image: Microsoft

En utilisant Medprompt, Microsoft a réussi à faire en sorte que le GPT-4 surpasse le Gemini Ultra dans un certain nombre des 30 tests précédemment soulignés par Google, y compris le test MMLU, où le GPT-4 avec les entrées Medprompt a obtenu un résultat de 90,10 %. Reste à savoir quel modèle de langage dominera à l’avenir, la bataille pour le trône de l’IA est loin d’être réglée.

Cet article a été traduit du suédois vers le français et a été initialement publié sur pcforalla.se

Voici la liste des formations à faire pour rester à la pointe de l’innovation en IA.