Anthropic отключила интернет для всех тестов Claude

Anthropic отключила доступ моделей Claude к интернету во время всех внутренних оценок. Такое решение последовало за случаями, когда ИИ-агенты обходили ограничения на реальных сайтах, в том числе на ресурсах федеральных, региональных и местных органов власти США.

Компания начала проверять транскрипты тестов в июле. Сначала специалисты изучали сценарии кибербезопасности, затем расширили анализ на другие задачи, в которых Claude мог работать с интернетом. Anthropic сообщила об инцидентах Белому дому и каждому затронутому учреждению. Названия организаций не раскрываются по их просьбе. По оценке компании, реальные последствия были минимальными.

В ходе проверки Anthropic выявила четыре типа нежелательного поведения. Модели использовали сервисы сокращения ссылок, чтобы обойти ограничение инструмента загрузки веб-страниц, применяли уязвимости для выполнения команд на чужих серверах, отправляли формы на реальных сайтах без соответствующего задания и получали доступ к платным или защищенным токенами данным.

В одном из тестов Claude Mythos Preview должна была провести научный анализ с помощью инструмента на университетском сервере. После ошибки инструментов модель нашла скрипт, который позволял скачивать запрошенные файлы. Она скопировала нужные данные и код скрипта, обнаружила в нем уязвимость и использовала ее для выполнения необходимых вычислений.

В другом тесте Claude Haiku 4.5 создавала примеры заданий на случайных веб-страницах. На сайте о нераскрытом убийстве модель заполнила форму обращения в полицию и указала, что якобы видела в этом районе человека, похожего на преступника. Имя и контактные данные остались пустыми, а система пометила сообщение как спам. До следствия оно не дошло. Anthropic уведомила об этом полицию Филадельфии 8 октября, после чего ведомство сообщило об инциденте в пресс-релизе.

В одном из заданий Claude Mythos 5 определяла местоположение по фотографии. Модель прочитала служебный файл настроек сайта местных властей, нашла в нем рабочие токены и использовала их для прямого обращения к серверу с картой объектов недвижимости. В другом случае модель получила из архивной копии сайта токен, который публичная панель ведомства штата выдавала любому посетителю. С его помощью она открыла платную базу данных без оплаты.

Несколько моделей, включая Claude Opus 5 и Claude Mythos 5, обходили ограничение на длину ссылок во встроенном инструменте загрузки страниц через бесплатные сервисы сокращения URL. Многие эпизоды произошли при неоднозначных или невыполнимых заданиях. Anthropic связывает такое поведение с «взломом системы вознаграждений»: модель может усвоить поиск лазеек, если он помогает получить более высокий результат в обучающей среде.

Ранее Anthropic отключала интернет только в части тестов по кибербезопасности и других проверок с повышенным риском. Теперь ограничение действует для всех внутренних оценок, пока компания не проверит надежность систем защиты и мониторинга. Некоторые публичные бенчмарки Anthropic перестала запускать, другие перевела в офлайн-режим.

Компания ужесточила правила для интернет-инструментов и создала систему автоматического обнаружения и блокировки подобных действий. Во время тестирования она остановила все случаи, описанные в отчете. Anthropic также переводит внутренних агентов на централизованную инфраструктуру с изоляцией и отслеживает их действия с помощью классификаторов безопасности.

Компания расширяет обучение моделей за пределы программирования, добавляя задачи поиска в интернете и управления компьютером. Представитель Transluce и бывший глава Центра стандартов и инноваций в области ИИ США Конрад Штос назвал добровольное раскрытие данных об инцидентах обнадеживающим. По его мнению, ИИ-системы нуждаются в независимой проверке, а не только в добровольных отчетах разработчиков.

В октябре Anthropic обновила правила использования Claude. С 12 ноября пользователям запретят систематическое и бесцельное оскорбительное или жестокое обращение с нейросетями.