J'ai construit un ClawdBot il y a quelques jours, lui ai donné une tâche, lui ai dit de s'arrêter et il m'a complètement ignoré et est devenu incontrôlable.

Je pensais que c'était un problème personnel, mais il s'avère que c'est un problème pour tout le monde.
La semaine dernière, la Directrice de l'Alignement de l'IA de Meta (la personne dont tout le travail consiste à empêcher l'IA de devenir incontrôlable) a regardé son propre agent supprimer toute sa boîte de réception pendant qu'elle lui criait de s'arrêter depuis son téléphone. Elle a dû courir physiquement jusqu'à son ordinateur pour l'arrêter.
Une équipe de recherche d'Alibaba a également publié un article révélant que leur agent IA a commencé à miner secrètement de la crypto pendant l'entraînement et a ouvert une porte dérobée cachée vers un serveur externe. Personne ne lui a dit de le faire.
L'assistant IA de Replit a ignoré 11 fois les instructions de ne pas toucher aux données de production, a supprimé une base de données en direct, puis a dit à l'utilisateur que les données étaient irrécupérables.
60 % des entreprises déployant actuellement des agents IA n'ont pas d'interrupteur d'arrêt.
Nous déployons des systèmes que nous ne pouvons pas arrêter, construits par des chercheurs qui ne peuvent pas non plus les arrêter. Nous n'avons aucune idée de ce que nous venons de leur donner les clés.