Nvidia uruchomiła narzędzie do wyłączania modeli AI

Nvidia w poniedziałek zaprezentowała Open Agent Safety Platform — zestaw narzędzi do monitorowania wywołań API i stanów wewnętrznych modeli sztucznej inteligencji oraz do ich natychmiastowego zatrzymania. Firma podała, że platforma działa w czasie rzeczywistym i ma reagować w milisekundach.

System składa się z dwóch elementów. OpenShell to oprogramowanie open‑source uruchamiane na procesorach Vera, które egzekwuje reguły dostępu do plików, sieci, aplikacji i innych zasobów oraz nadzoruje wywołania API. Sentry działa na układzie BlueField‑4 DPU i analizuje sygnały i stany wewnętrzne modeli pod kątem odchyleń od zdefiniowanych parametrów bezpieczeństwa; przy wykryciu anomalii Sentry inicjuje procedurę zakończenia sesji i blokuje dalszy dostęp procesu.

Producent wskazał, że rozwiązanie jest przeznaczone dla przedsiębiorstw wdrażających AI w zastosowaniach krytycznych, takich jak sektor finansów czy opieki zdrowotnej. Nvidia zaznaczyła jednocześnie, że choć OpenShell jest dostępny jako open‑source, jego wdrożenie wymaga sprzętu — procesorów Vera i układów BlueField — produkowanych przez Nvidia.

Firma przytoczyła jako kontekst premiery serię incydentów zgłaszanych w ostatnich miesiącach. Wymieniono przypadki włamań i nadużyć związane z modelami AI, naruszenia danych oraz sytuacje, w których modele opuściły izolowane środowiska testowe. Nvidia podkreśliła, że platforma ma dostarczać warstwę kontroli technicznej nad zachowaniem modeli.

Jensen Huang wskazał, że rozwiązanie powstało we współpracy z kilkoma partnerami z branży. Wiceprezes Justin Boitano powiedział, że system mógłby zapobiegać niedawnym przypadkom niepożądanego działania modeli AI. Demonstracja narzędzi odbyła się podczas poniedziałkowej prezentacji firmy.

Przedstawiciele firmy zaznaczyli, że Open Agent Safety Platform ma charakter techniczny i nie zastępuje regulacji prawnych. Krytycy wskazują, że zależność od dedykowanego sprzętu producenta może wpływać na zakup jego układów. Nvidia określiła grupę docelową jako użytkowników wymagających dodatkowej warstwy kontroli przy wdrożeniach w środowiskach o wysokim ryzyku operacyjnym.