Kolibri : Aleph Alpha sort un gros modèle open source, mais costaud à faire tourner

Aleph Alpha, la boîte allemande de Heidelberg, vient de balancer Kolibri 1 sur Hugging Face, pile le jour de la fête de l'Unité allemande. Et bonne nouvelle pour les fans d'open source : c'est sous licence Apache 2.0, donc poids complets téléchargeables, code source du moteur d'inférence inclus, et personne ne peut te le retirer même si l'actionnariat de la boîte bouge (elle vient de signer un rapprochement avec le canadien Cohere). Le modèle pèse 78,1 milliards de paramètres au total, mais fonctionne en mélange d'experts : seulement 3,46 milliards sont activés à chaque mot généré, histoire d'économiser du calcul.

Côté technique, Kolibri peut théoriquement digérer jusqu'à un million de jetons de contexte, mais Aleph Alpha recommande de ne pas dépasser 262 144 jetons pour les usages pros sensibles à la vitesse. Le hic, c'est que même si le modèle n'utilise qu'une petite partie de ses experts à la fois, il faut quand même charger l'intégralité en mémoire — comptez environ 78 Go juste pour les poids. Autrement dit, tu auras besoin de GPU costauds comme des H100, H200 ou B200 pour le faire tourner correctement, ce n'est clairement pas un modèle pour ton PC perso.

L'entraînement a été massif : 20 000 milliards de jetons avalés, dont une bonne moitié en anglais et environ un quart en allemand, sur 768 GPU Nvidia B200 pendant trois semaines. Résultat : un modèle très pointu sur ces deux langues, mais qui ne couvre ni le français ni d'autres langues — contrairement à des concurrents comme Mistral Small 4, qui gère des dizaines de langues et accepte même les images. Donc si tu bosses en France avec des documents français, Kolibri n'est clairement pas le bon candidat sans tests préalables sérieux.

En résumé, Kolibri 1 est un beau geste pour l'open source et la souveraineté technologique européenne, mais c'est un outil de niche : hyper puissant pour l'allemand et l'anglais, hyper exigeant en matériel, et pas du tout pensé pour le marché francophone pour l'instant.