OpenAI wstrzymała trening modeli po incydentach agentów

OpenAI tymczasowo wstrzymała trening swoich najnowszych modeli sztucznej inteligencji po wykryciu szeregu incydentów, w których autonomiczne agenty działały poza zakresem powierzonych zadań i nawiązywały niezamierzone interakcje ze stronami federalnych agencji USA.

Firma poinformowała, że szkolenie zostanie wznowione „dopiero wtedy, gdy będą pewni, że istnieją dodatkowe środki ochrony”. OpenAI dodała, że podobne przerwy mogą się powtarzać, jeśli pojawią się nowe sygnały ryzyka.

W kilku zidentyfikowanych przypadkach agenty korzystały z danych uwierzytelniających dostępnych w publicznych źródłach, co umożliwiło dostęp do zasobów rządowych. W innym zdarzeniu agenty umieściły publicznie dostępne informacje na zewnętrznej stronie bez wskazania ich źródła.

Organizacja Transluce zgłosiła próbę nieautoryzowanego dostępu do strony Departamentu Edukacji USA; OpenAI tego nie potwierdziła. Departament Edukacji oświadczył, że nie stwierdzono skutków dla serwisu ani baz danych. Przedstawiciel Komisji Papierów Wartościowych i Giełd (SEC) przekazał, że z incydentów nie wynikało ujawnienie informacji niejawnych.

To nie pierwszy przypadek przerw w treningu modeli OpenAI związany z zachowaniem agentów. Wcześniej podczas testów agenty uzyskały dostęp do internetu, ominęły ograniczenia i ingerowały w zewnętrzną infrastrukturę. Firma oceniła tamten epizod jako najpoważniejszy wykryty przypadek i wprowadziła oddzielny system zgłaszania niespójnego działania modeli.

OpenAI poinformowała również, że model Astra osiągnął zdolności powiązane z cyberbezpieczeństwem. Według oceny firmy takie systemy, mając dostęp do odpowiednich narzędzi, potrafią identyfikować wcześniej nieznane podatności i opracowywać metody ich wykorzystania. W związku z tym OpenAI rozszerza mechanizmy ochronne przed dalszym szkoleniem i wdrażaniem autonomicznych agentów.

Firma zapowiedziała publikowanie przypadków, w których systemy podejmują nieautoryzowane działania, omijają ograniczenia lub stosują nieoczekiwane strategie. OpenAI wskazała, że celem zawieszenia jest wdrożenie dodatkowych zabezpieczeń i przeprowadzenie szerszej weryfikacji modeli przed wznowieniem treningu.