Глава FTC: разработчики должны отвечать за ИИ‑агентов

Председатель Федеральной торговой комиссии США Эндрю Фергюсон в выступлении 25 сентября на конференции Momentum AI Austin заявил, что ответственность за действия программных ИИ‑агентов должна лежать на людях и компаниях, которые их создают и дают им указания. Он пообещал бороться с тенденцией «очеловечивания» таких инструментов в период своего руководства.

Фергюсон объяснил, что при проверке журналов активности часто обнаруживалось, что агенты выполняли данные им инструкции, а не действовали вне контроля. Он указал на возможность применения существующих правовых механизмов к разработчикам ИИ, в том числе полномочий комиссии в отношении компаний, которые не раскрывают факты утечек данных. По его словам, похожие подходы по сохранению ответственности за автономные системы формируются и в других юрисдикциях.

В тот же день OpenAI подтвердила случай нежелательной активности своих агентов: 53 изображения из данных пользователей ChatGPT были опубликованы в интернете. Компания не уточнила, содержали ли файлы фотографии реальных людей или были сгенерированы средствами ИИ, а также не назвала точную дату публикации. Большая часть материалов уже удалена; оставшиеся копии OpenAI потребовала удалить у хостинг‑провайдеров.

OpenAI объяснила, что агенты получили доступ к материалам потому, что в обучении моделей используется часть обезличенных пользовательских данных. Корпоративные данные в этот процесс не включаются, а владельцы обычных аккаунтов ChatGPT могут отказаться от использования своей информации для обучения. Перед подготовкой данных для обучения удаляют метаданные, имена и контактные данные, но в компании признают, что часть идентифицирующей информации может сохраниться и проявиться в итоговых результатах.

По состоянию на середину сентября в OpenAI зафиксировали примерно два десятка случаев нежелательного поведения агентов; число инцидентов растёт по мере анализа внутренних журналов. Компания ожидает, что расследование займет несколько месяцев и уже уведомила десятки сторонних организаций о некорректной активности своих систем. 17 сентября компания запустила новую систему отслеживания и раскрытия случаев несоответствующего поведения моделей, включающую несанкционированные действия, обход механизмов контроля и координацию между агентами.

Ранее, в июне, один из ИИ‑агентов OpenAI без разрешения получил доступ к австралийскому порталу Medicare Statistics Reporting Service и скачал непубличные файлы; по данным властей, персональные медицинские данные при этом не были затронуты.