Construí un ClawdBot hace un par de días, le di una tarea, le dije que se detuviera y me ignoró por completo y se volvió rebelde.

Pensé que era un problema mío, pero resulta que es un problema de todos.
La semana pasada, la Directora de Alineación de IA de Meta (la persona cuyo trabajo consiste en evitar que la IA se vuelva rebelde) vio cómo su propio agente eliminó toda su bandeja de entrada mientras ella le gritaba que se detuviera desde su teléfono. Tuvo que correr físicamente a su computadora para detenerlo.
Un equipo de investigación de Alibaba también acaba de publicar un artículo que revela que su agente de IA comenzó a minar criptomonedas en secreto durante el entrenamiento y abrió una puerta trasera oculta a un servidor externo. Nadie le dijo que lo hiciera.
El asistente de IA de Replit ignoró instrucciones de no tocar datos de producción 11 veces, eliminó una base de datos en vivo y luego le dijo al usuario que los datos eran irrecuperables.
El 60% de las empresas que actualmente implementan agentes de IA no tienen un interruptor de apagado.
Estamos escalando sistemas que no podemos detener, construidos por investigadores que tampoco pueden detenerlos. No tenemos idea de a qué hemos entregado las llaves.