Логические «ловушки» замедляют рассуждающие ИИ

На конференции ICML‑2026 в Сеуле исследователи из Чжэцзянского университета совместно с инженерами Alibaba представили новый класс атак на рассуждающие модели искусственного интеллекта. В экспериментах на бенчмарке MATH они добились увеличения длины цепочек рассуждений в 26,1 раза.

Для поиска таких запросов авторы применили генетический алгоритм: он перемешивает условия задач, удаляет ключевые предпосылки и добавляет лишнюю информацию, а затем отбирает варианты, которые вызывают максимально длинные выводы. Цель метода — не кража данных и не взлом системы, а спровоцировать чрезмерное обдумывание модели, что увеличивает задержку и потребление вычислительных ресурсов.

В экспериментах оказались уязвимы исследовательские и коммерческие модели, включая DeepSeek‑R1, Qwen3‑Thinking, GPT‑o3 и Gemini 2.5 Flash. Авторы зафиксировали, что запросы, подобранные с помощью небольшой модели, зачастую работают и против других систем, в том числе закрытых сервисов, что упрощает подготовку и масштабирование таких атак.

Авторы обращают внимание на области применения рассуждающих моделей: агентные системы, торговые боты, инструменты аудита смарт‑контрактов и сервисы в DeFi, где цифровые ассистенты могут управлять средствами. Нарушение или искусственное замедление цепочки рассуждений в этих системах может привести к операционным сбоям.

Ранее, в феврале 2025 года, исследователи проанализировали 4018 агентных траекторий и выделили типовые паттерны чрезмерного обдумывания: паралич анализа, когда модель продолжает рассуждать вместо выполнения задачи; непредсказуемые действия, когда после ошибки модель пытается выполнить несколько действий одновременно; и преждевременное завершение, когда процесс прерывается до проверки результата. Новая работа опирается на эти наблюдения и демонстрирует, что генерация избыточных цепочек рассуждений можно целенаправленно провоцировать.

В письме к редакции один из авторов, Вэй Цао, указал: “Наша цель — не продемонстрировать, что масштабные атаки возможны с минимальными затратами, а зафиксировать, что эта поверхность атаки существует”.

Авторы рекомендуют тестировать рассуждающие модели на устойчивость к подобным провокациям и учитывать эти векторы угроз при разработке и эксплуатации систем, где сбои могут повлиять на критичные процессы.