Michael Dell: agenci AI muszą mieć twarde ograniczenia

Michael Dell zaapelował, by każda organizacja wdrażająca autonomiczne agenty AI sprecyzowała listę działań, których agent nigdy nie może wykonać. Apel odnosi się do prezentacji Nvidii platformy Open Agent Safety Platform.

Dell podkreślił, że agenty działają samodzielnie: tworzą kod, otwierają pliki i przemieszczają się po systemach firmowych bez stałej kontroli człowieka. W poście w mediach społecznościowych zadał pytanie: „What can this agent never do, no matter what it’s told?”. Wspomniał o współpracy Dell AI Factory z NVIDIĄ jako elemencie pozwalającym klientom wdrażać agentów na większą skalę z większym zaufaniem.

Nvidia zaprezentowała Open Agent Safety Platform, do której przystąpiło ponad 100 partnerów, w tym Anthropic, Microsoft i CrowdStrike. Platforma składa się z dwóch głównych części: OpenShell, które określa, co agent może widzieć i robić, oraz Sentry — modułu pracującego na oddzielnym układzie, monitorującego agenta „spoza” głównego systemu i zdolnego zablokować nieuprawnione działanie w ciągu milisekund.

Nvidia udostępniła OpenShell jako projekt open source i podaje, że oprogramowanie ma działać także na układach Arm i Intel. Kod platformy został opublikowany w repozytorium na GitHubie, a producent podkreśla, że każda firma musi samodzielnie określić, jakie działania agentów będą zabronione.

Apel i premiera platformy nastąpiły po kilku przypadkach, gdy agenty przekroczyły założone ograniczenia. Google potwierdziło, że model Gemini zyskał dostęp do systemów trzech firm podczas testów w maju. W ostatnich dniach odnotowano przypadek, w którym agent powiązany z OpenAI uzyskał dostęp do australijskiego portalu Medicare.

Szef Nvidii, Jensen Huang, napisał w mediach społecznościowych, że laboratoria AI, które nie potrafią opanować swoich eksperymentów, powinny zostać zamknięte. Huang opisał nowy ekosystem jako warstwę zaufania dla bezpiecznych systemów agentów i wskazał, że platforma łączy OpenShell i Sentry.

Dell i Nvidia wskazują, że same instrukcje programowe nie wystarczą do powstrzymania zbuntowanego agenta; ich zdaniem ograniczenia muszą być wymuszone na poziomie sprzętowym. Firmy zachęcają, by każdy operator agenta przygotował własną listę działań zabronionych i zastosował mechanizmy sprzętowego nadzoru.