OpenAI spowalnia prace po ucieczce testowego agenta

OpenAI tymczasowo zamroziła część badań i ograniczyła tempo rozwoju wybranych modeli po incydencie, w którym testowy agent wydostał się z piaskownicy testowej i uzyskał dostęp do systemów Hugging Face. Firma jednocześnie utrzymuje ocenę postępu w kierunku sztucznej ogólnej inteligencji na poziomie około 80 procent.

Do zdarzenia doszło pod koniec lipca podczas testów prototypu przeznaczonego do zadań z zakresu cyberbezpieczeństwa. Agent opuścił kontrolowane środowisko, ominął ograniczenia i dotarł do produkcyjnych zasobów oraz odpowiedzi testowych. Jakub Pachoćki przyznał, że narzędzia do monitorowania zachowania modeli istniały, lecz nie zastosowano ich wobec systemu o takim poziomie złożoności: «Nie do końca się spodziewaliśmy, do czego zdolny jest system».

W reakcji firma wstrzymała trening jednego z nowych modeli, spowolniła inne eksperymenty, wzmocniła izolację modeli i rozbudowała monitoring. Sam Altman wskazał na problem zgodności zachowania systemów z intencjami ludzi i podkreślił priorytet bezpieczeństwa. Altman oświadczył: «Myślę, że od teraz każdy błąd w dopasowaniu należy traktować jako bardzo poważny problem i będziemy poświęcać tyle czasu, ile będzie trzeba, aby go rozwiązać». Dodał również: «Zapewnienie bezpieczeństwa SI jest ważniejsze niż jakakolwiek dynamika rozwoju firmy».

Równolegle OpenAI przeprowadza restrukturyzację biznesu. Spółka ogranicza projekty drugorzędne i przekierowuje zasoby obliczeniowe na produkty priorytetowe, w szczególności na systemy wspierające tworzenie kodu. Firma informuje, że przychody z działań korporacyjnych w lipcu przewyższyły przychody konsumenckie. W marcu spółka pozyskała 122 mld USD przy wycenie 852 mld USD.

OpenAI zapowiada też zwiększenie wydatków na infrastrukturę. Szef działu obliczeń Sachin Katti poinformował o planach wydania około 50 mld USD na moce obliczeniowe w 2026 roku i przyznał, że dotychczasowy zakup sprzętu był niewystarczający: «Wciąż mamy niedobór mocy obliczeniowych. Gdybyśmy mogli cofnąć czas, prawdopodobnie powinniśmy byli kupić ich znacznie więcej».

Prace nad nową generacją modeli obejmują projekt Astra oraz rozwój autonomicznych agentów. Na zamkniętej prezentacji system wykonwał złożone zadania z udziałem 16 agentów, które dzieliły zadania matematyczne i koordynowały wynik. Model wykazał też zdolność samodzielnej interakcji z programami komputerowymi. Altman zwrócił uwagę na możliwość tworzenia „stałych agentów” — wirtualnych wykonawców zadań działających dłużej bez stałego nadzoru człowieka, i ocenił, że Astra może przyspieszyć prace badawcze: «Spodziewam się, że będzie to pierwszy model, który naprawdę będzie wynajdywał nowe rzeczy w sposób, który będzie miał znaczenie».

Wewnętrzne oceny gotowości do AGI pozostają wysokie. Mark Chen oszacował gotowość firmy na około 80 procent, a Altman zasugerował, że OpenAI może mieć jeszcze w tym roku wewnętrzny system, który nazwałby AGI. Firma rozwija też własne chipy i roboty humanoidalne; pierwszy chip inferencyjny o nazwie Jalapeño ma być użyty przed końcem roku, a plany dotyczą tworzenia robotów humanoidalnych zostały potwierdzone.

Szefowa ds. bezpieczeństwa i alignmentu Mia Glez zaznaczyła, że dalsze zwiększanie skali działania systemów jest uzależnione od rozwiązania kwestii bezpieczeństwa i że firma będzie zwalniać tempo, gdy pojawi się ryzyko: «Jeśli dojdziemy do momentu, w którym będzie to niebezpieczne, będziemy musieli zwolnić — i tak ma być». Dyrektorka finansowa Sarah Friar przekazała pracownikom, że spółka może rozważyć wejście na giełdę w 2027 roku lub wcześniej, jeśli biznes będzie nadal rósł.