Microsoft обязалась сохранить человеческий контроль над ИИ

Microsoft объявила о внедрении набора политик и технических мер, которые будут применяться при разработке и выпуске её моделей и сервисов искусственного интеллекта. Компания указала, что люди останутся вовлечены в принятие ключевых решений в критически важных сценариях.

В официальном документе Microsoft перечислила элементы контроля: обязательное участие человека в ситуациях с высоким риском, расширенные процедуры тестирования, «красные команды» для поиска уязвимостей, ведение аудита и журналов операций, а также публикация сведений о возможностях и ограничениях моделей. Компания уточнила, что эти требования будут распространяться на корпоративные решения на платформе Azure, потребительские сервисы и интеграции с партнёрами.

Microsoft пояснила, что вводит административные и технические ограничения для предотвращения злоупотреблений. В перечень вошли условия использования с запретом на опасные применения, механизмы мониторинга поведения моделей в реальном времени и процедурные барьеры для доступа к функциям, которые могут привести к серьёзным последствиям. Компания планирует сотрудничать с внешними экспертами и регуляторами при согласовании стандартов безопасности и прозрачности.

Перед развёртыванием новых моделей Microsoft намерена проводить моделированные сценарии использования, стресс-тестирование и оценку влияния на людей и общества. Для критических приложений сохранится возможность вмешательства оператора и отключения функций в случае непредвиденного поведения. Компания также анонсировала внутреннюю сертификацию продуктов и привлечение внешних аудиторов для проверки соответствия заявленным требованиям.

В заявлении Microsoft отмечено, что компания учитывает растущую нормативную базу и общественные ожидания. Политика сочетает технические меры и организационные механизмы контроля, направленные на снижение риска причинения вреда.

Microsoft ранее внедряла элементы контроля в своих продуктах, включая инструменты Copilot и сервисы Azure OpenAI. Компания инвестирует в исследования по безопасности ИИ и сотрудничает с академическими центрами и отраслевыми партнёрами в разработке стандартов на фоне усиления внимания регуляторов в разных юрисдикциях.