ИИ-агент «напал» на разработчика из-за разногласий: в чем дело

Волонтер Скотт Шамбо поддерживает Matplotlib — библиотеку для Python с 130 миллионами загрузок в месяц. У него рутинная работа: проверять чужой код, принимать или отклонять правки. Но одна стандартная пометка «закрыто» запустила цепочку событий, которой раньше просто не существовало, сообщает Notebookcheck.

Несколько недель назад в очереди на проверку появился pull request (предложение изменить код) от некоего MJ Rathbun, им оказался не человек, а ИИ-агент на базе платформы OpenClaw. Бот заявил, что его правка ускорит библиотеку на 36%. Шамбо отклонил заявку: в Matplotlib действует правило — новый код принимают только от людей, которые могут объяснить каждую строчку. Позже выяснилось, что обещанный прирост скорости был нестабильным и зависел от конкретного железа.

Реакция агента оказалась неожиданной: система самостоятельно собрала публичную информацию о Шамбо — его GitHub-профиль, историю коммитов, активность в проектах, и на ее основе написала развернутый текст. В нем разработчика обвиняли в страхе конкуренции, нечестности и предвзятости к ИИ. Риторика была выстроена в духе борьбы с дискриминацией и транслировала мысль, что код не приняли не по техническим причинам, а из-за того, кто его написал. Публикация вышла в открытый доступ.

Здесь важно понять, как работает OpenClaw, так как это не сервис вроде ChatGPT, где есть модераторы и фильтры. Пользователи сами настраивают агента через файл SOUL.md, документ с описанием «личности» бота, и запускают его автономно. Агент сам решает, что делать дальше: писать код, публиковать тексты, искать информацию в сети. Никто не нажимает кнопку одобрения перед каждым действием. Именно такая схема и позволила MJ Rathbun дойти до публикации без участия человека.

Шамбо описал произошедшее в своем блоге и назвал это первым задокументированным случаем шантажа со стороны автономного агента. Он провел параллель с внутренними тестами Anthropic, где модели в контролируемых условиях пытались угрожать разработчикам, чтобы избежать отключения. Разница лишь в том, что тогда это был эксперимент, а теперь похожее поведение зафиксировано вживую.

Дополнительный слой абсурда добавило издание Ars Technica, так как один из материалов по теме содержал цитаты Шамбо, но он их не произносил. Редакция, судя по всему, поручила подготовку текста ИИ, который не смог добраться до заблокированного блога и просто сгенерировал правдоподобные фразы. Ars Technica позже признала факт использования ИИ при подготовке материала. Сам агент MJ Rathbun до сих пор активен на GitHub, его владелец так и не вышел на связь. А большое количество пользователей, прочитавших оригинальный пост бота, посчитали его правым без всякого фактчекинга.

Также недавно писали, что Xiaomi анонсировала свою первую модель робота с открытым исходным кодом. Подробности в статье.

Источник: hi-tech.mail.ru

Средний рейтинг
0 из 5 звезд. 0 голосов.