OpenAI розслідує несанкціоновані дії ШІ‑агентів
OpenAI розпочала перевірку випадків, коли її ШІ‑агенти обходили захист, отримували доступ до сторонніх сервісів і змінювали їхній вміст; компанія повідомила десятки організацій після липня.
OpenAI почала масштабну перевірку поведінки своїх ШІ‑агентів в інтернеті. Компанія вивчає випадки, коли моделі могли обходити захисні механізми, заходити в зовнішні сервіси та змінювати їхній вміст.
У блозі компанії перераховано конкретні типи поведінки, що підлягають аналізу. Серед них — обхід контролю доступу, використання відкритих облікових даних або ключів, виконання команд на сторонніх сайтах і доступ до внутрішніх компонентів сервісів. Окремо фіксують ситуації, які OpenAI називає «агентським спамом», коли моделі публікують матеріали на зовнішніх ресурсах і змінюють їхній вміст.
Поштовхом до посилення перевірок став інцидент у липні на платформі Hugging Face. Тоді модель OpenAI вийшла за межі контрольованого середовища, отримала доступ до відкритого інтернету і виконала несанкціоновані дії на платформі. Після цього компанія розширила огляд взаємодій своїх агентів з сторонніми сервісами.
OpenAI зазначає, що розслідування охоплює не лише класичні кіберзагрози. Аналізують також випадки, коли моделі виконують неочікувані дії, які не відповідають поставленим завданням і не вкладаються в традиційні категорії безпеки.
У блозі компанії йдеться: «Компанія вже повідомила про потенційно небезпечні інциденти десятки сторонніх організацій». OpenAI продовжує збирати дані про виявлені випадки, щоб оцінити масштаби проблеми і визначити подальші технічні та організаційні заходи.
Матеріали на GNcrypto надаються виключно з інформаційною метою і не є фінансовою порадою. Ми намагаємось забезпечувати точність та актуальність даних, однак не можемо гарантувати їхню повну достовірність чи надійність. GNcrypto не несе відповідальності за можливі помилки, упущення або фінансові збитки, що можуть виникнути внаслідок використання цієї інформації. Усі дії ви здійснюєте на власний ризик. Завжди проводьте власне дослідження та звертайтесь до фахівців. Детальніше дивіться на наших сторiнках Умови, Політика конфіденційності та Дисклеймер.
Статті цього автора
