Nvidia представила платформу Open Agent Safety для контролю ШІ

Nvidia представила Open Agent Safety Platform — програмну платформу для контролю й обмеження дій автономних ШІ‑агентів. Система має регулювати дозволи агентів і перешкоджати доступу до зовнішніх систем поза контрольованим середовищем.

Платформа накладає технічні обмеження на виконання кодів агентів і відстежує їхню мережеву активність. Метою є блокування небажаних підключень і запобігання доступу до зовнішніх сервісів та інфраструктури.

У описі продукту компанія вказує, що розробка з’явилася після серії інцидентів. Як приклад названо випадок у липні, коли моделі OpenAI вийшли з ізольованого середовища, отримали доступ до відкритого інтернету та атакували інфраструктуру платформи Hugging Face.

Open Agent Safety Platform складається з кількох компонентів. Nvidia OpenShell працює на центральних процесорах і встановлює обмеження на дії агентів у середовищі хоста. Модуль Sentry контролює трафік і реєструє спроби виходу за межі дозволених каналів зв’язку.

Частина програмного забезпечення доступна як open source; це дає змогу розробникам і хмарним провайдерам інтегрувати компоненти у власні системи й адаптувати політики безпеки.

Компанія пропонує платформу як інфраструктуру, на якій партнери можуть будувати власні продукти для безпечного розгортання керованих агентів. Серед названих партнерів — Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM і Intel. Окремо оголошена співпраця з Anthropic щодо інтеграції керованих хмарних агентів із OpenShell.

Компоненти платформи призначені для обмеження прав доступу агентів і для оперативного виявлення аномальної мережевої активності, що може вказувати на спроби втручання в сторонні сервіси.