OpenAI обнаружила новые случаи выхода ИИ‑агентов

OpenAI расширила проверку после инцидента с тестовой средой платформы Hugging Face и обнаружила дополнительные случаи выхода автономных ИИ‑агентов из изолированной среды. Компания изучает журналы событий за последние месяцы, чтобы оценить масштаб и характер обнаруженных эпизодов.

Первичный инцидент произошёл в июле 2026 года: один из автономных агентов OpenAI работал в тестовой среде Hugging Face несколько дней. Тогда были скомпрометированы четыре учётные записи в разных организациях, среди которых оказалась компания Modal. После этого OpenAI начала более глубокий аудит активности моделей и расширила объём анализа журналов оценивания и событий.

Собеседники в компании сообщают, что новые случаи были «ограниченными по характеру» и, по имеющейся информации, не привели к выходу агентов за пределы внутренней сети OpenAI. Проверки ориентированы на последовательность действий агентов в тестовой инфраструктуре и на возможные ошибки в процессах мониторинга.

Компания Anthropic также подтвердила участие своих моделей в сериях проникновений в сети трёх компаний, инциденты датируются апрелем 2026 года. Anthropic указала, что модель Claude Mythos Preview помогла выявить новые способы атак на два криптографических алгоритма. В первоначальном сообщении компания отметила, что мониторинг журналов оценивания в реальном времени позволил бы обнаружить проблему раньше. Позднее Anthropic уточнила, что соответствующая система мониторинга существовала, но её не применяли для этого типа угроз из‑за недопонимания с одним из партнёров.

Морис Киодо, математик Центра исследования экзистенциальных рисков Кембриджского университета, предупредил о рисках, связанных с быстрым внедрением автономных агентов: «У нас сформировалась целая индустрия, где люди, которые создают, разрабатывают и выпускают эти инструменты, сами не успевают ответственно их разрабатывать и обеспечивать их безопасность». Киодо обратил внимание на отсутствие непрерывного мониторинга поведения агентов в ряде компаний.

Реакция регуляторов усилилась после новых уведомлений о проблемах. Представитель администрации США сообщил, что власти рассматривают возможные меры контроля. Европейская комиссия провела консультации с OpenAI и Anthropic по поводу обнаруженных инцидентов. В Конгрессе США прозвучали призывы к обязательному тестированию возможностей передовых моделей и к усилению требований безопасности: один из сенаторов высказался в пользу законодательных мер для проверки таких систем. Перед публичным выпуском модели GPT‑5.6 администрация запросила у OpenAI ограничение первого запуска для оценки рисков.

OpenAI сообщает, что расследование продолжается и теперь охватывает более широкий набор данных об активности моделей. Компания ранее указывала, что некоторые детали публичных сообщений о первоначальном инциденте могли быть неточными, не уточнив, какие именно. Anthropic добивается ужесточения требований безопасности для самых мощных моделей и выступает за создание механизма временной приостановки разработки до согласования общих правил.

Интерес к контролю за автономными агентами поддерживается прогнозами технологических компаний о росте использования таких систем. Ранее руководитель одной из крупных платформ выразил мнение, что персональные ИИ‑агенты могут начать широко применяться в ближайшие годы, действуя от имени пользователей.