Apple fait son entrée dans le domaine de l’intelligence artificielle avec Ferret, son modèle de langage multimodal en open source. Capable de comprendre et de produire du texte, des images, des sons et des vidéos, Ferret dépasse le GPT-4 d’OpenAI en termes d’analyse d’images.

Apple fait une entrée remarquée dans le domaine de l’intelligence artificielle avec Ferret, son modèle de langage multimodal open source.

Comme Gemini, ChatGPT ou Google Bard, ce modèle est capable de comprendre et de générer non seulement du texte, mais aussi des images, des sons et des vidéos. Présenté en octobre par Zhe Gan, chercheur en IA chez Apple, Ferret est resté discret jusqu’à maintenant.

Ferret est le résultat d’une collaboration entre Gan, ses collègues chez Apple, et des chercheurs de l’Université Columbia. D’après Gan, Ferret surpasse GPT-4 d’OpenAI, le modèle de langage le plus sophistiqué à ce jour, en termes d’analyse et de description de petites zones d’image, tout en commettant moins d’erreurs.

Une Intelligence Artificielle formée à l’aide de 8 processeurs graphiques A100 de Nvidia.

Apple a optimisé Ferret grâce à l’utilisation de 8 GPU Nvidia A100, des composants graphiques haut de gamme avec 80 Go de RAM HBM2e. Ces GPU sont très prisés dans le domaine de l’IA générative, une technologie en plein essor qui permet de générer du contenu à partir de zéro.

ChatGPT d’OpenAI, un chatbot interactif, a propulsé cette technologie au premier plan. Le GPU A100, capable d’atteindre une vitesse de calcul de 312 TeraFLOPS avec une précision de Tensor Float 32, est largement utilisé dans les calculs d’IA.

Ferret déjà bientôt disponible sur nos smartphones ?

Apple fait ses premiers pas dans l’IA générative avec Ferret, visant à rendre ce modèle de langage adapté aux smartphones. GPT-4 d’OpenAI, avec plus d’un billion de paramètres, dépasse largement la capacité actuelle des smartphones qui ne peuvent gérer que des LLM avec environ 10 milliards de paramètres.

Pour surmonter cet obstacle, les chercheurs d’Apple ont récemment démontré comment utiliser la mémoire flash du smartphone, en complément de la RAM, pour exécuter des modèles plus volumineux que ce qui serait normalement possible sur l’appareil. Il est donc probable que l’iPhone 16 bénéficie d’un assistant amélioré grâce à l’IA.