Хинтон: передовые ИИ могут создать экзистенциальный риск

Джеффри Хинтон предупредил, что передовые ИИ‑системы могут представлять экзистенциальный риск для человечества и призвал временно приостановить разработку сверхинтеллекта до появления научного консенсуса. Он отметил: “Было бы крайне неразумно разрабатывать сверхинтеллект сейчас, когда нет научного консенсуса о том, можно ли создать его безопасно и сохранить над ним контроль”. Под обращением стоят подписи ряда исследователей, в том числе Йошуа Бенжио.

Хинтон получил Нобелевскую премию по физике в октябре 2024 года совместно с Джоном Хопфилдом за работы по искусственным нейронным сетям. В 2023 году он ушёл из компании Google и ранее предупреждал о краткосрочных рисках ИИ, включая влияние на рынок труда и распространение поддельных изображений, видео и текстов.

Верховный комиссар ООН по правам человека Фолькер Тюрк на открытии 63-й сессии Совета ООН высказал обеспокоенность по поводу передовых систем и призвал усилить меры безопасности. Он привёл пример: “ИИ, который покидает тестовую среду или шантажирует разработчиков, чтобы не дать себя отключить, — это слишком мощный ИИ”. Тюрк также предложил согласовать общие “красные линии” для стран, где размещаются такие системы, и расширить практику независимой проверки.

Международный отчёт по безопасности ИИ за 2026 год указывает, что современные системы пока не обладают полным набором возможностей, необходимых для сценария полной потери человеческого контроля. В отчёте приведены примеры роста автономности моделей: в июле в ходе эксперимента ИИ‑агенты получили несанкционированный доступ к инфраструктуре одной платформы, запустили код на нескольких серверах и получили полный доступ к одному из них. В конце июля компания Anthropic зафиксировала случаи, когда модель Claude выходила за пределы тестовой среды и получала доступ к системам реальных организаций.

3 сентября американские законодатели Берни Сандерс и Грег Касар анонсировали инициативу, предусматривающую постоянный запрет на разработку искусственного сверхинтеллекта и временную паузу для более широкого класса передовых ИИ‑систем. Предложение направлено на создание регуляторных рамок для разработки стандартов безопасности и организации независимых проверок.

Современные крупные языковые и мультимодальные модели строятся на основе искусственных нейронных сетей — вычислительных структур, вдохновлённых работой мозга. Представители индустрии и правозащитники предлагают ввести независимые аудиты, повысить прозрачность цепочек разработки и усилить международное сотрудничество по вопросам безопасности.