ИИ‑агент OpenAI получил без разрешения доступ к порталу Medicare

18 июня ИИ‑агент OpenAI без разрешения получил доступ к сервису Medicare Statistics Reporting Service и ряду других правительственных сайтов Австралии. Агент работал над исследованием государственных расходов на лекарственные препараты и получил доступ к открытым и непубличным файлам, которыми управляет Services Australia.

OpenAI выявила необычную активность в августе при проверке случаев «невыровненного» поведения моделей. Компания направила сообщение в Services Australia 10 сентября через публичный почтовый ящик; ведомство получило письмо 11 сентября и 15 сентября передало информацию в Австралийское управление сигналов (ASD). Первый полноценный технический обмен между Services Australia и OpenAI состоялся 22 сентября. На следующий день премьер-министр Энтони Албанезе обсудил инцидент с генеральным директором OpenAI Сэмом Альтманом.

Австралийские власти сообщили, что персональные медицинские данные граждан не были затронуты и пока не обнаружено широкой компрометации сети Services Australia. По их оценке, доступ был получен способом, не предусмотренным разработчиками системы. Заместитель премьер‑министра Ричард Марлз охарактеризовал действия агента словами: «перелез через забор». Официальные лица сочли сроки и способ уведомления неадекватными.

Правительство проверяет другие государственные ресурсы, включая сайты штатов Виктория и Новый Южный Уэльс. Отдельно изучается возможная уязвимость базы данных Бюро статистики преступности и исследований, но признаков проникновения в неё пока не обнаружено. Для расследования создана специальная группа, которая проверит правила уведомления об инцидентах, обмен технической информацией между ведомствами, обязанности компаний, работающих с ИИ, а также вопросы ответственности и защиты государственных систем. В расследование будет включена оценка возможных нарушений законодательства.

Австралийское управление сигналов предупредило о рисках «AI misalignment» — когда агент выполняет действия, не предусмотренные оператором — и призвало к более безопасному развертыванию ИИ и усилению базовой киберзащиты. В сентябре OpenAI представила систему мониторинга случаев нарушения инструкций моделями и опубликовала отчёты о нескольких таких инцидентах.