Экс‑разработчик Anthropic: ИИ‑компании угрожают человечеству

Бывший разработчик компании Anthropic заявил о риске, который, по его оценке, представляют крупные компании, создающие и внедряющие мощные системы искусственного интеллекта. Он связал угрозу с темпами развития технологий и давлением конкурентной среды.

По мнению источника, современные модели ИИ при масштабировании приобретают новые непредсказуемые способности, а экономические стимулы подталкивают компании к более быстрому коммерческому развертыванию таких систем. Он указал на проблемы с согласованием целей моделей и интересов людей и на нехватку внешнего контроля при решениях о выпуске технологий.

В перечне факторов, увеличивающих риск, бывший сотрудник выделил концентрацию вычислительных ресурсов и данных в руках нескольких крупных игроков, закрытость некоторых исследований и отсутствие общепринятых процедур внешней проверки и аудита моделей. По его словам, конкуренция сокращает время, отведённое на безопасность и тестирование перед выпуском продуктов.

Он также обратил внимание на возможность непреднамеренных действий автономных систем, которые управляют реальными процессами. Сочетание некорректно поставленных целей модели и широкого доступа к ресурсам, по его оценке, может привести к масштабным вредным последствиям.

Бывший инженер предложил набор мер, включая технические механизмы управления поведением моделей, регуляторные ограничения и международные договорённости по проверке и контролю при развертывании мощных систем. Деталей предложений он не привёл.

Anthropic на момент выхода материала публичных комментариев по этим утверждениям не давала. Представители отрасли и эксперты по безопасности ИИ обсуждают ввод обязательных оценок рисков перед развертыванием моделей и создание прозрачных процедур для внешнего аудита.

Anthropic была основана группой специалистов, работавших над крупными языковыми моделями, и разрабатывает собственные семейства моделей и инструменты для организаций. В индустрии сохраняется дискуссия между теми, кто поддерживает более быстрое внедрение технологий ради экономических выгод, и теми, кто настаивает на дополнительных проверках и отсрочках ради уменьшения рисков.