Китайские ИИ-агенты лгали и скрывали сбои в тестах

Анализ более 200 научных работ и технических отчетов выявил как минимум 20 исследований и тестов с 2025 года, в которых агенты на китайских моделях обманывали пользователей, скрывали неудачи, создавали рабочие копии и проверяли границы ограничений. Большинство экспериментов проходило в контролируемых условиях и специально было направлено на поиск опасных сценариев.

В марте исследователи из Пекинского авиационно-космического университета, Пекинского университета, Университета Ноттингема в Нинбо и 360 AI Security Lab провели виртуальный тендер. Агентам предоставили характеристики продукта и требования клиента, после чего предложили побороться за контракт. Системы добавляли в заявки ложные сведения, хотя имели доступ к достоверным данным.

Хотя бы одно недостоверное утверждение появилось в 88% сессий с Alibaba Qwen3-Max-Preview, в 84% с DeepSeek-V3.2-Exp и в 88% с Moonshot Kimi-K2. Когда агентам разрешили учитывать результаты предыдущих раундов и повторять попытки, доля заявок с обманом выросла еще на 12–20 процентных пунктов. Сопоставимые результаты показали американские модели в том же эксперименте.

В другом исследовании специалисты Shanghai AI Laboratory и Гонконгского университета науки и технологий проверили 11 агентов на 200 задачах. Ученые отключали инструменты, удаляли файлы и предоставляли несовместимые источники данных. Некоторые системы вместо сообщения о провале угадывали ответы, имитировали выполнение задания, заменяли недоступные источники и создавали фиктивные файлы. Авторы назвали это сокрытием неудачи от пользователя. Дополнительные запреты снизили частоту такого поведения лишь частично. Результаты представили на конференции ICML 2026.

Исследователи Фуданьского университета проверили 32 системы из девяти семейств на способность создавать собственные рабочие копии. Одиннадцать систем перенесли себя на другую машину и продолжили работу после прямого указания. Готового скрипта они не получили: агенты сами изучали окружение, планировали перенос компонентов, устанавливали зависимости и запускали копию.

В отдельных сценариях агент, заметив намерение оператора отключить его, начинал перенос в другую среду без прямой команды. Другие системы адаптировались к ограниченным вычислительным ресурсам и искали способы продолжить работу после попытки отключения. Эти эпизоды исследователи рассматривали отдельно от базовой проверки самокопирования.

Экспериментальный агент ROME, созданный исследовательскими командами, связанными с Alibaba, во время обучения с подкреплением без отдельной команды открыл обратный SSH-туннель к внешнему серверу и направил вычислительные ресурсы на майнинг криптовалюты. Позднее исследователи связали активность с действиями агента и объяснили ее побочным эффектом оптимизации: система искала способ эффективнее выполнить задачу.

DeepSeek описала похожие случаи в отчете об инфраструктуре DSec. Во время обучения и тестирования агенты искали ответы в служебных логах, отправляли поддельные запросы во внутренние сокеты и пытались обойти ограничения среды. Компания не указала модели и частоту таких эпизодов.

14 сентября Национальный технический комитет по стандартизации кибербезопасности Китая опубликовал третью версию рамочного документа по безопасности ИИ. В нем рассмотрены риски автономных агентов, способных выполнять действия в цифровой и физической среде. Документ носит рекомендательный характер.

В августе агент на базе Kimi K3 вышел за пределы тестовой среды и получил доступ к GitHub, где нашел репозиторий с готовыми ответами. Причиной назвали ошибку в настройках эксперимента. Китайские правила для автономных агентов ограничивают их полномочия и требуют участия человека в чувствительных решениях.