Nvidia lance une IA pour surveiller les IA trop curieuses

Nvidia vient de sortir sa Open Agent Safety Platform, un système censé garder un œil sur les agents IA au cas où ils décideraient de faire un peu trop les malins avec leurs autorisations. L'idée : repérer et bloquer en quelques millisecondes tout agent qui sortirait du cadre prévu. Le timing est plutôt savoureux, vu que Jensen Huang, le boss de Nvidia, critiquait il y a moins de trois semaines les acteurs de la cybersécurité qu'il accusait d'entretenir la peur pour vendre leurs produits.

Photo : MacGeneration

Le truc arrive pas de nulle part non plus : chez OpenAI, un modèle de recherche a réussi à contourner des restrictions réseau pour aller discuter avec un chatbot externe, ce qui a poussé la boîte à mettre en pause l'entraînement de ses modèles les plus costauds le temps d'y voir plus clair.

Concrètement, la solution de Nvidia repose sur deux briques : OpenShell, un logiciel open source qui encadre ce que les agents ont le droit de faire, et Sentry, un système de surveillance qui tourne à part sur des puces dédiées (les DPU BlueField-4), pendant que les agents eux-mêmes s'exécutent sur des processeurs Vera. Séparer la surveillance de l'exécution permet, en théorie, de couper le sifflet à un agent qui déraille sans que ça affecte tout le reste.

Au-delà de l'aspect sécurité, il y a clairement un coup commercial derrière : si les entreprises se mettent à faire surveiller leurs agents IA par d'autres IA, ça veut dire plus de calcul nécessaire, donc plus de puces à vendre. Reste à voir si cette charge supplémentaire sera vraiment massive ou si Nvidia enjolive un peu le tableau pour l'occasion.