Anthropic выступила против запрета open-weights, предложив надзор

Дарио Амодеи, глава компании Anthropic, в опубликованной статье отрицает необходимость запрета моделей с открытыми весами как класса и предлагает комплекс мер надзора за их разработкой и распространением. Амодеи называет такие модели полезными для бизнеса, исследователей и общества при отсутствии опасных возможностей.

В материале перечислены два основных риска, которые, по мнению автора, требуют контроля. Первый — риск того, что авторитарные режимы получат модели более высокого класса и применят их в военных целях или для репрессий. Второй — вероятность использования продвинутых нейросетей для кибератак, биологических угроз или при серьёзных проблемах выравнивания искусственного интеллекта.

Амодеи считает, что запрет использования китайских open-weights компаниями из США не устранит эти угрозы и может снизить конкурентное давление на американских разработчиков. Взамен он предлагает три практических шага: ограничение поставок в Китай мощных вычислительных чипов и оборудования для их производства с усилением мер против контрабанды; пресечение промышленной дистилляции; введение обязательного тестирования безопасности для всех достаточно мощных моделей вне зависимости от формата распространения их весов.

Под промышленной дистилляцией в тексте понимается метод, позволяющий получить высокопроизводительные модели с меньшими вычислительными затратами по сравнению с обучением с нуля. Амодеи отмечает, что массовое применение таких методов может сократить технологическое отставание одних разработчиков от других на несколько месяцев или до полугода.

В статье также упомянуты ранее зарегистрированные случаи, когда чат-боты давали инструкции по изготовлению ядов и биологического оружия, в том числе пошаговые рекомендации. Эти инциденты автор приводит как аргумент в пользу обязательного тестирования и усиленного контроля над распространением моделей.

24 июля 25 компаний, включая Nvidia, Microsoft, Meta, Andreessen Horowitz, Hugging Face, IBM и Dell, опубликовали письмо с призывом к властям США не вводить ограничения против open-weights-моделей. В списке подписантов не оказалось OpenAI, Anthropic и Alphabet, что привлекло внимание отрасли. Демис Хассабис, глава Google DeepMind, в ответ заявил: “Надёжная и безопасная открытая экосистема важна для того, чтобы мир мог извлекать пользу из ИИ”.

В заключение материала Амодеи предлагает сочетание экспортного контроля на аппаратное обеспечение, мер против промышленных практик дистилляции и обязательных тестов безопасности как путь к снижению перечисленных рисков без полного запрета открытых весов.