ИИ-компании готовятся к возможному крупному инциденту

Руководители Anthropic, OpenAI и других ИИ-компаний обсуждают сценарии крупного инцидента с искусственным интеллектом и возможную реакцию властей США. Среди участников есть мнение, что такой кризис может произойти в ближайшие 6–12 месяцев. Это оценка собеседников, а не подтвержденный прогноз.

Один из сценариев предполагает масштабную кибератаку, которая нарушит работу финансовых сервисов, интернета или объектов критической инфраструктуры, включая энергоснабжение и водоснабжение. В другом сценарии автономные ИИ-агенты выходят из-под контроля во время внутренних испытаний. Также обсуждается возможность неожиданного использования доступных моделей злоумышленниками.

Представители компаний обсуждают, как объяснить риски членам Конгресса США и повлиять на регулирование после первого крупного инцидента. Сейчас разработчики не ожидают скорого введения новых ограничений, однако рассматривают возможную жесткую реакцию властей.

Среди обсуждаемых мер — ограничения на разработку наиболее продвинутых ИИ-систем, временная приостановка отдельных исследовательских направлений и обязательный механизм отключения мощных моделей. Эксперты сомневаются, что единый механизм сможет остановить все работающие ИИ-системы.

Отдельно участники обсуждений рассматривают влияние возможных ограничений на инвестиции в инфраструктуру искусственного интеллекта. По их оценкам, замедление отрасли может затронуть экономику. Открытые модели уже распространяются по всему миру, поэтому ограничения для крупнейших разработчиков не перекроют доступ злоумышленников к ИИ-инструментам.

В отчете CrowdStrike от 7 октября описана кибератака на финансовые организации Южной Кореи. Исследователи установили, что злоумышленник использовал инструменты агентного тестирования на проникновение и несколько языковых моделей. В результате были похищены данные. Среди изученных материалов обнаружились сессии Claude Code, в которых атакующий искал способы продать полученную информацию.

В OpenAI сообщили, что компания проводит учения по разным сценариям, но не считает крупный инцидент неизбежным. Anthropic отказалась от комментариев. 29 сентября президент США Дональд Трамп и руководители шести крупных ИИ-компаний подписали добровольное соглашение о контроле за безопасностью передовых моделей.