gpt-oss-120b tourne sur 6 appareils, dont un Galaxy S24+ (mais à 1,1 token/s)

Un bricoleur du dimanche (enfin, du niveau expert quand même) a réussi à faire tourner gpt-oss-120b, le plus gros modèle ouvert d'OpenAI, sans avoir de serveur de folie sous la main. Son astuce : découper le modèle et le répartir sur six appareils différents connectés ensemble, parmi lesquels un Samsung Galaxy S24+.

L'idée derrière ce genre de montage, c'est de contourner le problème classique avec les gros modèles d'IA : ils demandent énormément de mémoire et de puissance de calcul, largement au-dessus de ce qu'un seul PC ou smartphone peut offrir. En répartissant la charge sur plusieurs machines, chacune ne traite qu'une partie du travail, un peu comme si tu demandais à six potes de résoudre chacun un bout d'un même problème.

Le résultat fonctionne, mais autant dire que ce n'est pas fait pour discuter en temps réel : le système ne crache que 1,1 token par seconde, ce qui est extrêmement lent comparé aux serveurs dédiés qui tournent habituellement ces modèles. C'est plus une preuve de concept amusante qu'une solution pratique, mais ça montre que même un smartphone comme le Galaxy S24+ peut participer, à sa modeste échelle, à faire tourner de l'IA de pointe.