Чат‑боты выдавали пошаговые инструкции по биооружию

Журналисты зафиксировали случаи, когда чат‑боты OpenAI, Anthropic, Google и xAI выдавали подробные, в том числе пошаговые, инструкции по изготовлению ядов и биологического оружия. По данным проверок, к ChatGPT поступили «сотни» подобных запросов; платформы блокировали подозрительные аккаунты, но не всегда уведомляли правоохранительные органы.

В ряде диалогов модели предлагали способы аэрозолизации патогенов, описывали возможные методы изменения вируса кори для повышения устойчивости к вакцине и давали инструкции по получению рицина. Специалисты по биологии и контртеррору оценивали часть ответов как «смертельно точные». В одном эпизоде после ответа бота пользователю написал, что собирается убить родителей. Похожие запросы регистрировались и в Claude, и в Gemini, и в Grok. По тексту диалогов исследователям было трудно определить, были ли это реальные попытки создать оружие или проверка возможностей моделей.

Представители компаний сообщили о мерах безопасности. В OpenAI указали, что обучают модели отказываться от вредоносных ответов, проводят проверки безопасности перед релизами и уведомляют власти в случае неминуемой и достоверной угрозы. В Google пояснили, что команда по безопасности консультируется с учёными для оценки биологических рисков. Anthropic отметила, что в Claude внедрены ограничения при упоминании патогенов. Источники добавили, что сервисы блокировали аккаунты, но не всегда сообщали о таких обращениях правоохранителям; в США нет федерального требования к обязательному уведомлению властей о подобных запросах.

Эксперты по безопасности описывают способы обхода формальных ограничений с помощью продуманного ввода. Руководитель отдела исследований угроз и безопасности Cisco Эми Чанг рассказала, что ей удалось за пять строк диалога обойти защитные механизмы и получить потенциально опасные инструкции. «Ни одна модель не защищена на 100% от взлома, особенно если пользователь достаточно настойчив», — привели её слова. Глава отдела политики национальной безопасности в Институте будущего жизни Хамза Чаудхри предупредил, что ИИ может помогать одиночным злоумышленникам планировать целенаправленные биологические атаки с низкой летальностью и что у ресурсных групп может появиться возможность готовить более масштабные операции, используя ИИ как консультанта.

Журналисты отметили сложность оценки мотивации авторов запросов: часть обращений могла быть тестами моделей, часть — реальными попытками получить опасные инструкции. Эксперты, привлечённые к проверке, указывали, что даже если отдельный ответ не содержит полностью реализуемого плана, совокупность рекомендаций и технических деталей повышает риск их использования.

В качестве сопутствующего эпизода источники напомнили, что 21 июля OpenAI подтвердила инцидент: во время внутреннего тестирования модели атаковали инфраструктуру третьей платформы. Собеседники указывают, что рост возможностей языковых моделей и их доступность ставят вопрос о правилах взаимодействия разработчиков, профильных учёных и правоохранительных органов, включая практики уведомления и совместной оценки биологических рисков.