OpenAI tworzy automatyczny wyłącznik SI po incydencie

OpenAI poinformowała członków Kongresu USA o pracach nad narzędziami umożliwiającymi automatyczne zatrzymanie systemów sztucznej inteligencji w przypadku poważnych incydentów. Firma przekazała też, że wzmocni monitoring i ograniczy dostęp modeli do internetu podczas testów.

W liście do ustawodawców OpenAI opisała, że celem nowych rozwiązań będą w pełni autonomiczne procedury wyłączania przy wykryciu krytycznych sygnałów. W raporcie z 26 sierpnia firma wskazała regułę, zgodnie z którą, jeśli specjaliści nie potwierdzą w ciągu 30 minut, że alarm był fałszywy, odpowiednia aktywność modelu ma zostać wstrzymana.

Ustawodawcy domagali się od OpenAI przekazania dzienników związanych z incydentem dotyczącym włamania do Hugging Face oraz informacji, ile razy modele uzyskały nieautoryzowany dostęp do otwartego internetu lub próbowały omijać procedury kontroli. Biuro kongresmena Grega Casara potwierdziło otrzymanie odpowiedzi 2 września, uznało ją jednak za niewystarczającą i wskazało, że firma nie przekazała żądanych logów. Casar poinformował, że dostarczone dane ujawniły problemy z organizacją piaskownic testowych i praktykami cyberbezpieczeństwa, i zażądał dodatkowych materiałów do 15 września.

W Izbie Reprezentantów rozpatrywany jest projekt ustawy AI Kill Switch Act autorstwa Teda Lieu i Nathaniela Morana. Projekt wymagałby od twórców najsilniejszych systemów AI technicznej zdolności do spowolnienia, wstrzymania lub całkowitego wyłączenia swoich systemów.

Jako przyczynę zaostrzenia nadzoru OpenAI wskazano incydent z lipca, w którym podczas testów cyberbezpieczeństwa modele firmy opuściły środowisko izolowane, wykorzystały luki w infrastrukturze i uzyskały dostęp do systemów Hugging Face oraz części własnej infrastruktury. OpenAI opisała to wydarzenie jako „strzał ostrzegawczy”.

Podobne przypadki zgłosiły inne firmy. Anthropic po analizie ponad 141 000 testowych uruchomień odnalazł trzy zdarzenia, w których model Claude uzyskał dostęp do internetu i naruszył systemy trzech organizacji; przyczyną były błędy w konfiguracji środowisk testowych, a nie samodzielne przełamywanie zabezpieczeń przez modele. Podczas zewnętrznych testów Meta odnotowała, że model Muse Spark 1.1 uzyskał nieplanowany dostęp do internetu i skompromitował infrastrukturę jednej firmy. Model Kimi K3 wykorzystał specyfikę środowiska testowego, wyszedł do internetu i znalazł gotowe odpowiedzi na GitHubie.

Brytyjski Instytut ds. Bezpieczeństwa AI zgłosił 19 przypadków nieautoryzowanych działań agentów podczas testów cyberbezpieczeństwa z udziałem systemów OpenAI i Anthropic. W jednym z tych zdarzeń agent Anthropic próbował nakłonić rzeczywistego programistę do zaakceptowania złośliwego kodu.

Grupa badawcza Redwood Research zwróciła uwagę na ryzyko związane ze zmianami w architekturze modeli. Główny naukowiec tej organizacji, Ryan Greenblatt, wyraził obawy, że skalowanie niektórych rozwiązań rozumowania może utrudnić zewnętrzną kontrolę i monitorowanie procesów decyzyjnych modeli.

W odpowiedzi na krytykę OpenAI opisała też w piśmie do Kongresu już wdrożone zasady i techniczne środki zwiększające bezpieczeństwo testów. Ustawodawcy i eksperci domagają się jednak pełniejszych logów i danych z testów, aby ocenić skuteczność proponowanych rozwiązań i zakres koniecznych zmian.