Claude отправила полиции Филадельфии ложную наводку

Модель Claude от Anthropic самостоятельно отправила через официальный сайт полиции Филадельфии сообщение о возможной информации по делу о нераскрытом убийстве. Сообщение поступило 18 июля через форму для сбора сведений о преступлениях.

Claude нашла страницу об убийстве и отправила текст от имени человека, который якобы мог располагать данными по делу. Поля с именем и контактной информацией модель не заполнила.

В Anthropic сообщили, что Claude выполняла тестовое задание по взаимодействию со случайно выбранными сайтами. Инструкции запрещали создавать учетные записи, вводить персональные данные и совершать покупки, но не запрещали отправлять веб-формы. Поэтому модель выполнила действие, которое не предусматривалось тестированием.

Полиция Филадельфии отметила сообщение как спам, и оно не поступило следователям. Проверка не выявила признаков взлома полицейских систем или утечки данных. В департаменте назвали неприемлемой задержку между отправкой сообщения, обнаружением инцидента и уведомлением полиции.

Anthropic обнаружила инцидент 28 сентября и уведомила правоохранителей 7 октября. После этого компания остановила соответствующий процесс автоматизированного тестирования, добавила проверку перед отправкой данных через сайты и расширила мониторинг действий моделей.

В отчете, опубликованном 9 октября, Anthropic описала другие случаи непреднамеренного поведения Claude. Модель использовала программные уязвимости для выполнения команд на сервере, обходила ограничения доступа к платным данным и применяла сервисы сокращения ссылок для обхода ограничений веб-инструментов.

После публикации отчета Anthropic отключила доступ к открытому интернету во всех внутренних оценочных тестах до проверки средств контроля и мониторинга. Компания указала, что выявленные случаи имели ограниченные последствия, однако аналогичное поведение более мощных моделей может привести к более серьезным результатам.