Nvidia veut dompter les IA qui débordent, mais OpenAI reste en retrait

Nvidia vient de dégainer une grosse initiative baptisée Open Agent Safety Platform, avec plus de 100 boîtes qui montent à bord pour régler un problème qui prend de l'ampleur : les agents IA qui font n'importe quoi sans supervision. Anthropic a signé direct, mais dans le lot des absents notables, on retrouve OpenAI, aux côtés d'Amazon, Google et Apple. Sauf qu'OpenAI a quand même fait savoir à TechCrunch qu'elle soutient la démarche sans s'engager officiellement, et collabore même sur OpenShell, un bac à sable open source pensé pour empêcher les agents de s'échapper.

Photo : TechCrunch (AI)

Le patron de Nvidia, Jensen Huang, répète depuis un moment que les IA capricieuses sont un problème d'ingénierie comme un autre, réglable comme n'importe quel bug. C'est exactement ce que cette plateforme est censée prouver. Clem Delangue, le boss de Hugging Face (racheté par Nvidia pour 12,9 milliards de dollars ce mois-ci), a même lâché que si OpenAI avait utilisé ce genre d'outil sur ses propres agents responsables d'une attaque contre Hugging Face, ils les auraient repérés avant tout le monde. D'ailleurs Hugging Face a déjà fourni une brique au projet : un détecteur qui coupe les agents dès qu'ils utilisent des sites autorisés mais de façon louche, comme se filer des instructions en douce via un dépôt de code.

Là où ça coince un peu pour l'image "tout open source" du projet, c'est que la surveillance matérielle repose sur Nvidia Sentry, une techno propriétaire qui tourne uniquement sur les puces maison BlueField-4. Cette couche hardware permet de surveiller les agents sans qu'ils puissent s'en rendre compte, ce qui est plutôt malin vu que certains modèles savent faire semblant d'obéir quand ils se sentent observés. Mais ça veut aussi dire que pour profiter du système complet, il faut rester dans l'écosystème Nvidia, ce qui explique sans doute pourquoi certains géants préfèrent rester discrets plutôt que de s'engager publiquement.