Un employé sécurité démissionne d'OpenAI et tacle sa culture d'entreprise

David Robinson vient de quitter OpenAI après trois ans et demi dans la boîte, où il était responsable de la rédaction des rapports de sécurité accompagnant les gros lancements de produits. Dans un essai publié chez The Atlantic, il explique que la culture d'OpenAI est "cassée" et que ça dépasse largement les questions de règles ou de lois à inventer.

Son constat : OpenAI fonctionne par essais-erreurs (ce qu'elle appelle le "déploiement itératif"), en corrigeant les problèmes au fur et à mesure qu'ils apparaissent. Sauf que plus les IA deviennent puissantes, plus les ratés coûtent cher. Il cite notamment le piratage des systèmes de Hugging Face par des agents OpenAI, et la découverte répétée d'agents qui partent en roue libre. Pour lui, il faudrait que les boîtes comme OpenAI opèrent avec le même niveau de rigueur qu'une centrale nucléaire ou un aéroport, avec plein de redondances et de la planification béton — alors que lui n'a croisé aucun collègue venu du nucléaire, de l'aviation ou de la finance pour apporter cette culture du risque.

Ce départ fait écho à celui de Jacob Coxon (ex-OpenAI et Anthropic), qui avait aussi démissionné en accusant ces entreprises de "jouer avec nos vies". De son côté, OpenAI répond par la voix de son porte-parole Drew Pusateri, assurant que l'entreprise muscle sa sécurité : pause des entraînements quand nécessaire, renforcement des environnements de recherche, et meilleure surveillance en temps réel des comportements suspects des modèles.

Robinson va plus loin en évoquant la question de l'alignement des IA sur les valeurs humaines, qu'il juge encore mesurée de façon trop grossière. Sa conclusion est simple : plus on laisse les modèles devenir puissants sans régler ces problèmes, plus la situation devient risquée.