J'ai testé un LLM local sur mon iPhone pendant un mois : bilan

Soyons honnêtes : la plupart du temps, on utilise Claude ou ChatGPT sur son téléphone pour des trucs basiques, genre reformuler un mail ou comprendre un mot compliqué. Rien qui justifie vraiment de mobiliser un modèle géant hébergé dans un datacenter à l'autre bout du monde, sauf que l'appli est là, sur l'écran d'accueil, donc on l'utilise par réflexe.

Photo : XDA-Developpers

Un testeur a voulu voir jusqu'où il pouvait pousser les modèles d'IA en local, directement sur son iPhone 16 (8 Go de RAM). Avec cette mémoire limitée, il faut viser des modèles compacts, genre 2 à 4 milliards de paramètres, compressés en "quants" pour tenir dans l'espace disponible. Pour les questions rapides, il utilise Qwen 3.5 (version 2B), plutôt véloce. Pour du chat plus "chaleureux" avec gestion d'images et de notes vocales, c'est Gemma 4 (version E2B) qui prend le relais. Et quand il faut vraiment réfléchir ou faire de la recherche, il passe sur une version plus costaude de Qwen 3.5 (4B), un peu plus lente mais nettement plus affûtée.

Côté applications pour faire tourner tout ça, l'outil qui sort du lot est Google AI Edge Gallery. Limite : elle ne supporte que le format maison de Google (LiteRT), donc on est un peu coincé avec les modèles Gemma. En échange, on récupère une expérience multimodale bien fournie, avec gestion d'images, d'audio, et même des "Agent Skills" qui permettent au modèle d'aller chercher des infos sur Wikipédia ou de créer des rappels, un peu à la manière des outils personnalisés qu'on trouve chez Claude.

Le constat de cette expérience : pas besoin de miser sur un seul modèle, comme on jonglerait déjà entre plusieurs IA dans le cloud selon les besoins. Et surtout, pour l'essentiel des usages du quotidien, ces petits modèles locaux se débrouillent très bien sans jamais toucher à internet.