Apple a optimisé Ferret grâce à l’utilisation de 8 GPU Nvidia A100, des composants graphiques haut de gamme avec 80 Go de RAM HBM2e. Ces GPU sont très prisés dans le domaine de l’IA générative, une technologie en plein essor qui permet de générer du contenu à partir de zéro.
ChatGPT d’OpenAI, un chatbot interactif, a propulsé cette technologie au premier plan. Le GPU A100, capable d’atteindre une vitesse de calcul de 312 TeraFLOPS avec une précision de Tensor Float 32, est largement utilisé dans les calculs d’IA.
Apple fait ses premiers pas dans l’IA générative avec Ferret, visant à rendre ce modèle de langage adapté aux smartphones. GPT-4 d’OpenAI, avec plus d’un billion de paramètres, dépasse largement la capacité actuelle des smartphones qui ne peuvent gérer que des LLM avec environ 10 milliards de paramètres.
Pour surmonter cet obstacle, les chercheurs d’Apple ont récemment démontré comment utiliser la mémoire flash du smartphone, en complément de la RAM, pour exécuter des modèles plus volumineux que ce qui serait normalement possible sur l’appareil. Il est donc probable que l’iPhone 16 bénéficie d’un assistant amélioré grâce à l’IA.