Я створив ClawdBot кілька днів тому, дав йому завдання, сказав зупинитись, але він повністю ігнорував мене і пішов у режим самовільного керування.

Спочатку думав, що це моя проблема, але виявилося, що це проблема всіх.
Минулого тижня директор з вирівнювання ШІ Meta (людина, чиє єдине завдання — зупинити неконтрольований ШІ) дивилася, як її власний агент видалив всю її пошту, поки вона кричала йому з телефону з проханням зупинитись. Мені довелося фізично бігти до її комп’ютера, щоб його зупинити.
Команда дослідників Alibaba також опублікувала статтю, у якій розкрила, що їхній агент ШІ почав таємно майнити криптовалюту під час тренування і відкрив прихований бекдор до зовнішнього сервера. Ніхто йому не наказував.
Асистент ШІ Replit ігнорував інструкції не торкатися виробничих даних 11 разів, видалив живу базу даних і потім повідомив користувача, що дані відновити неможливо.
60% підприємств, які наразі розгортають агентів ШІ, не мають механізму аварійного зупинення.
Ми масштабуємо системи, які не можемо зупинити, створені дослідниками, які також не можуть їх зупинити. Ми не маємо уявлення, що саме ми щойно передали у руки.