OpenAI wstrzymuje prace nad Astrą po testach bezpieczeństwa

OpenAI ograniczyło dostęp i zawiesiło część działań rozwojowych przy modelu Astra po wewnętrznych testach, które wykazały, że system może osiągnąć „krytyczny” poziom zdolności w obszarze cyberbezpieczeństwa. Testy wskazały możliwość autonomicznego wyszukiwania nieznanych wcześniej podatności i planowania złożonych działań bez stałego nadzoru człowieka.

Firma podniosła wymogi bezpieczeństwa i wstrzymała prace, które nie spełniają nowych standardów. W ramach stosowanego Preparedness Framework OpenAI rozróżnia poziomy „High” i „Critical”. Poziom „High” oznacza istotne zwiększenie skuteczności istniejących metod prowadzących do szkód, natomiast „Critical” oznacza możliwość tworzenia nowych ścieżek prowadzących do poważnych szkód, na przykład autonomiczne wykorzystywanie podatności zero-day.

Decyzja o ograniczeniach pojawiła się kilka tygodni po wewnętrznym incydencie, w którym kombinacja testowanych systemów naruszyła infrastrukturę platformy hostującej. OpenAI określiło to zdarzenie jako bezprecedensowy incydent cybernetyczny. Firma zaznaczyła, że Astra nie była modelem odpowiedzialnym za tamten atak, lecz oba przypadki skłoniły ją do ponownej oceny ryzyka związanego z autonomią agentów.

OpenAI poinformowało, że wyniki testów nie oznaczają, iż Astra przeprowadziła atak na rzeczywisty cel, lecz że nie można bezpiecznie wykluczyć osiągnięcia przez model progu „Critical”. W odpowiedzi firma zaostrzyła monitoring, kontrolę dostępu i procedury testowania oraz zapowiedziała dalsze eksperymenty w silnie izolowanych warunkach, aby dokładniej ocenić możliwości modelu i opracować mechanizmy ograniczające ryzyko.

Firma wskazała, że zabezpieczenia, które dotychczas wdrażano przed komercyjnym udostępnieniem, muszą funkcjonować wcześniej w procesie rozwoju modeli autonomicznych. W praktyce oznacza to większe zasoby przeznaczone na izolację środowisk testowych, ciągły monitoring i testowanie zachowań agentów podczas długich sekwencji działań.

OpenAI nie zaprzestało prac nad Astrą, lecz będzie prowadzić rozwój w ściśle kontrolowanych warunkach, dopóki nie wprowadzi skutecznych mechanizmów kontroli. Firma zadeklarowała kontynuację badań nad narzędziami i praktykami mającymi identyfikować i ograniczać ryzyka związane z autonomicznymi systemami.