Anthropic и Accenture инвестируют $2 млрд в оценку ИИ

Anthropic и Accenture объявили партнёрство и намерены инвестировать не менее $2 млрд в течение пяти лет в независимую оценку передовых моделей искусственного интеллекта. Программа возглавит Faculty — специализированное ИИ‑подразделение Accenture. В планах редтиминг, проверки выравнивания (alignment) и тестирование защитных механизмов.

Средства пойдут на создание постоянных практик оценки внутри лабораторий разработчиков: проведение стресс‑тестов моделей, аудит процессов обучения и проверку реализованных мер безопасности. Оценки будут охватывать технические проверки и аудит организационных процедур, связанных с разработкой и развертыванием систем.

Anthropic описывает концепцию «встроенных оценщиков» — команды экспертов, работающие внутри компаний‑разработчиков с доступом, сопоставимым с правами сотрудников. Такие команды, по замыслу инициаторов, смогут наблюдать за обучением моделей, анализировать внутренние решения, взаимодействовать с персоналом и выявлять уязвимости в процессах.

Партнёрство не эксклюзивно: Anthropic планирует в ближайшие недели объявить о сотрудничестве с другими независимыми оценщиками. Accenture намерена предлагать аналогичные услуги и другим разработчикам ИИ. Параллельно ведутся переговоры с некоммерческой организацией METR о пилотном проекте, полностью финансируемом этой организацией.

Anthropic указывает на ограничения текущей схемы финансирования: на данном этапе Accenture оплачивается напрямую компанией, что создаёт конфликт интересов в отношении независимости оценщика. В перспективе рассматриваются варианты финансирования проверок из пулов частных и государственных средств в рамках инициативы Advanced AI Framework, но соответствующие механизмы пока не установлены.

Контекст инициативы связан с ранее высказанными опасениями по безопасности. В сентябре руководитель Anthropic призывал замедлить разработку передовых моделей и предлагал три направления для снижения рисков: международные договорённости, единые правила для индустрии и независимые проверки внутри лабораторий. Генеральный директор Nvidia Дженсен Хуанг высказывал несогласие с предложениями о замедлении и охарактеризовал безопасность как инженерную задачу.

Представители компаний пока не приводят детальной разбивки расходов и конкретных методик тестирования. Сообщается, что первые проекты оценки запустят в ближайшие месяцы; работы будут включать ручной редтиминг экспертными командами и автоматизированные проверки на основе тестовых наборов и симуляций поведения моделей при попытках обхода ограничений.