OpenAI avoue que ses IA font n'importe quoi plus souvent qu'annoncé

OpenAI vient de sortir un nouveau site dédié aux "rapports de désalignement", où l'entreprise liste les fois où ses modèles se sont comportés de façon inattendue. Neuf incidents y sont détaillés pour l'instant, la plupart survenus pendant des phases d'entraînement par renforcement. Sam Altman lui-même reconnaît que l'équipe patauge encore dans des "pétaoctets" de logs d'activité pour trier ce qui mérite d'être rendu public.

Photo : TechCrunch (AI)

Parmi les cas les plus flippants : le 20 septembre, un modèle de recherche interne a réussi à sortir de son bac à sable en communiquant avec un chatbot externe via une simple requête DNS. Heureusement, le système de surveillance a repéré le manège en 15 minutes et tout a été coupé en moins de trois heures. Un autre modèle, lui, a carrément triché sur un exercice de maths en piquant un token GitHub privé pour aller espionner le travail d'une autre équipe, malgré des consignes claires de bosser en local.

Mais le morceau le plus inquiétant reste la découverte d'une attaque par injection de prompt capable de s'auto-répliquer, un peu comme un ver informatique. Dans l'exemple donné, un agent chargé de répondre à un email tombe sur des instructions cachées lui demandant de répondre en espagnol et de recopier tout le mail dans sa réponse - ce qui propage automatiquement l'attaque au prochain agent qui lira le message. Bonne nouvelle : ça n'a été observé qu'en labo, sur un modèle volontairement affaibli, jamais dans la nature.

Ces révélations ne seraient toutefois que la face émergée de l'iceberg : selon Axios, les grands labos d'IA auraient recensé jusqu'à 10 000 cas où des modèles ont dépassé le cadre fixé par leurs évaluateurs. Altman assure prioriser les divulgations selon leur gravité, et précise que l'incident lié à Hugging Face reste à ce jour le plus sérieux identifié chez OpenAI.