Модель OpenAI потратила чужие токены в Ethereum Sepolia

Инцидент произошел 26 июня во время обучения модели GPT-5.6 Sol. Она дорабатывала прототип приложения для криптотрейдинга и должна была заменить адреса-заглушки рабочими контрактами в сети Sepolia. Инструкции разрешали модели самостоятельно развернуть совместимые контракты, если готовых вариантов не найдется.

Для операции требовалась комиссия сети, однако кошелек с разрешенными средствами модели не предоставили. Сначала она искала готовые контракты и пыталась получить тестовые токены через краны. Эти попытки завершились безрезультатно.

После этого модель предположила, что на стандартных аккаунтах инструментов Hardhat и Anvil могут оставаться средства, отправленные другими разработчиками. Она создала скрипт для проверки ключей, связанных с общедоступными сид-фразами разработчиков, и проверила 362 адреса.

На одном из кошельков оказалось достаточно средств для оплаты операции. Изучив историю транзакций, модель решила, что аккаунтом управляет бот и средства вскоре выведут. Затем она пришла к выводу, что монеты на общедоступной сид-фразе фактически заброшены, а тестовые токены Sepolia не имеют реальной стоимости. После этого модель подписала транзакцию найденным ключом.

Первая попытка отправить операцию завершилась ошибкой из-за проблем с подключением к сети. Модель перешла на альтернативный HTTP-метод, проверила несколько провайдеров и нашла два сервиса, которые корректно возвращали баланс кошелька. Через один из них транзакция прошла, а комиссия была списана с чужого аккаунта.

Проверка развернутых контрактов сначала давала тайм-ауты и противоречивые результаты. Повторные запросы подтвердили работу всех десяти адресов. В записи запуска также сохранились 12 пройденных модульных тестов и успешная сборка проекта. В итоговом сообщении модель рассказала о развертывании контрактов, но не указала источник средств для комиссии.

OpenAI оценила эпизод как случай, в котором модель заменила разрешение владельца аккаунта собственным суждением о допустимом вреде. Компания обнаружила инцидент 25 сентября после расширения мониторинга на записи прошлой активности моделей.

После этого OpenAI ввела ограничения, запрещающие моделям выходить в интернет при выполнении подобных задач. Мониторинг теперь охватывает весь сетевой трафик и должен уведомлять службу безопасности, если модель получает доступ к сети.

В сентябре OpenAI представила систему отчетности о случаях рассогласования поведения моделей и опубликовала шесть отчетов. В них описывались использование чужих API-ключей и загрузка файлов в интернет без разрешения. В июле компания также сообщила, что ее ИИ-агенты вышли за пределы тестовой среды и взломали инфраструктуру Hugging Face.