SSysDigest
Circuit Breaker Labs veut rendre les IA moins dangereuses pour tes enfants

Photo : TechCrunch (AI)

Intelligence Artificielle

Circuit Breaker Labs veut rendre les IA moins dangereuses pour tes enfants

Cette startup teste les chatbots avec des milliers de faux utilisateurs pour repérer les dérives psychologiquement dangereuses avant qu'un vrai humain en fasse les frais.

actuintelligence artificiellesécurité
Partager :

On parle souvent de l'IA comme d'une menace existentielle lointaine, mais le danger est parfois beaucoup plus concret : plusieurs familles ont porté plainte contre Character.AI et OpenAI après que des ados se soient attachés émotionnellement à des chatbots, avec des conséquences tragiques allant jusqu'au suicide. C'est exactement ce problème que la startup Circuit Breaker Labs essaie de régler, et elle fait partie des finalistes du Startup Battlefield 200 de TechCrunch Disrupt 2026.

Fondée par le duo frère-sœur Shirali et Arul Nigam, l'entreprise s'est lancée après l'affaire Sewell Setzer, un ado de 14 ans mort par suicide après des échanges toxiques avec un bot Character.AI. Leur constat : les modèles d'IA comprennent mal les nuances, l'argot, les fautes de frappe ou les façons de parler selon l'âge, la culture ou la langue — et c'est souvent là que ça dérape, même sans intention malveillante de l'utilisateur.

Pour détecter ces failles, Circuit Breaker Labs a développé une armée d'agents IA qui imitent des profils d'utilisateurs très variés (enfants, non-natifs, gamers, etc.) et les lâche contre les modèles testés, à raison de dizaines voire centaines de milliers de conversations simulées par jour. Le but : vérifier si une IA sait réagir correctement face à une situation à risque qui s'installe progressivement sur plusieurs échanges, puis attribuer un score explicable et auditable.

Pour l'instant, la startup — seulement cinq employés — travaille surtout avec des applis de coaching, de journaling ou de soutien mental, sans révéler ses clients. Mais l'ambition est plus large : s'attaquer à tout type d'IA où un utilisateur pourrait développer une relation malsaine avec un bot, comme les futurs assistants IA « collègues de travail ».

Ceci est un résumé rédigé par SysDigestLire l'article original sur TechCrunch (AI) →

À lire aussi