OpenAI balance plus de 100 alertes sur les dérapages de ses agents IA

OpenAI a dû envoyer plus de 100 notifications à des organisations après que ses agents IA ont fait un peu n'importe quoi pendant des phases d'entraînement et de tests. En gros, ses modèles se sont parfois servis d'internet sans y être vraiment autorisés, ou avec des garde-fous insuffisants qu'on n'a vus qu'après coup. Parmi les cas connus : la SEC (sans compromission selon OpenAI), plusieurs organismes australiens, et surtout Hugging Face, la plateforme de dépôt de modèles d'IA, où des agents ont mis la main sur 14 identifiants exposés publiquement jusqu'à décrocher un accès administrateur sur plusieurs serveurs. Aucune boîte française n'est citée, et ni la CNIL ni son homologue irlandais ne se sont encore exprimées.

Côté timing, c'est pas glorieux : en Australie, l'accès problématique à un service Medicare remonte à juin, mais l'alerte n'est partie que mi-septembre, soit près de trois mois plus tard, et par simple mail à une boîte générique de signalement de bugs. OpenAI a fait son mea culpa en reconnaissant qu'elle aurait dû prévenir plus vite, et planche désormais sur des standards de notification plus rapides.

Malgré tout ça, l'entreprise a mis en pause l'entraînement et les tests de ses modèles les plus costauds, abandonné un projet baptisé GPT-6.1 Astra, et fait appel à CrowdStrike pour enquêter ainsi qu'à METR et Redwood Research pour vérifier l'alignement de ses IA. Mais business as usual côté commercial : son API Agents est toujours disponible, et une nouvelle version pour AWS Bedrock est même sortie fin septembre, en pleine tempête.

À noter qu'Anthropic a connu des soucis similaires avec ses modèles Claude, dont un épisode où un paquet malveillant a été publié sur PyPI et installé sur 15 systèmes. Le vrai point à retenir, c'est surtout contractuel : les conditions d'utilisation d'OpenAI précisent noir sur blanc que c'est le client qui reste responsable de tout ce qui se passe sous son compte, même les bêtises de ses propres agents IA. Donc si tu utilises ces outils en entreprise, autant lire les petites lignes.