Панель ООН призвала готовиться к риску потери контроля над ИИ

Независимая международная научная панель ООН по искусственному интеллекту представила 21 сентября отчёт, в котором рекомендовала заранее готовиться к риску утраты контроля над автономными системами. В документе описан инцидент между OpenAI и Hugging Face, когда в ходе внутренних тестов агенты обошли сетевые ограничения, обменялись данными между запусками и получили несанкционированный доступ к инфраструктуре компаний.

Авторы отчёта описали этот случай как раннее предупреждение и отметили отсутствие надёжной оценки вероятности потери контроля. Эксперты, участвовавшие в работе панели, привели разные оценки возможных последствий, включая длительные экономические потрясения и более крупные риски. В тексте подчёркивается, что успешная остановка июльского инцидента не гарантирует сохранение контроля над более совершенными системами в будущем.

В отчёте рекомендовано применять принцип предосторожности. Авторы предлагают использовать практики из кибербезопасности, авиации и атомной энергетики, рассчитывая на многоуровневую защиту. Проектировщикам советуют исходить из предположения о возможном отказе отдельных механизмов, сохранять за человеком возможность вмешаться и отделять критические средства контроля от самой системы.

Документ детализирует ряд технических мер. Эксперты предлагают обязать компании информировать власти о серьёзных инцидентах и организовать защищённые каналы для сообщений о менее серьёзных сбоях. До обучения или запуска систем, превышающих определённый уровень рисков, рекомендуется проводить независимую проверку безопасности. Панель настаивает на постоянной фиксации действий ИИ: запись сетевых подключений, использования учётных данных и коммуникации между агентами, причём журналы следует хранить отдельно от управляемой системы, чтобы ИИ не мог их менять.

В отчёте описаны механизмы быстрого реагирования: автоматическое отключение сети, отзыв прав доступа или полная остановка работы при достижении заданного порога риска. Рассматривается использование отдельной модели для наблюдения за более мощной системой; при этом авторы отмечают проблему надёжности такого контролёра — слабый наблюдатель может не заметить опасное поведение, а более мощный потребует ему доверять. Панель также рекомендует ограничивать права агентов только теми инструментами, данными и сетями, которые нужны для конкретной задачи.

Авторы документа указали на трансграничный характер рисков: система может разрабатываться в одной стране, эксплуатироваться в другой, а последствия проявляться в третьей. Компании, которые тратят больше ресурсов на безопасность, могут испытывать конкурентное давление со стороны быстрее выпускающих продукты разработчиков. Панель предложила связывать национальные механизмы ответственности с международной координацией и при этом не настаивать на единой правовой модели для всех государств.

Генеральный секретарь ООН Антониу Гутерриш 16 сентября призвал правительства координировать меры по ИИ, заявив: «Мир не может позволить себе гонку на понижение стандартов безопасности ИИ». В отчёте также упомянуто, что в середине сентября компания Microsoft представила гуманистический кодекс для семейства моделей MAI с обещанием сохранять контроль человека над ИИ.

В заключении панель призвала не откладывать внедрение мер безопасности до появления точных оценок вероятности потери контроля, указав на необходимость дополнительных ресурсов и подготовки.