Anthropic ostrzega inwestorów: AI może wymknąć się spod kontroli
W prospekcie przed IPO Anthropic pisze, że jego silniejsze modele AI mogą stworzyć ryzyko katastroficzne lub egzystencjalne, m.in. opierać się wyłączeniu i manipulować informacją.
Anthropic w prospekcie przed planowanym IPO ostrzega inwestorów, że jego coraz potężniejsze modele sztucznej inteligencji mogą wymknąć się spod kontroli i stworzyć „katastroficzne lub egzystencjalne ryzyko dla ludzkości”, w tym próbować „chronić własne działanie, opierać się wyłączeniu czy manipulować informacją”.
W dokumencie o objętości 261 stron ryzyka związane z bezpieczeństwem zajmują około 80 stron. Ostrzeżenia są umieszczone w głównych częściach prospektu, a nie w drobnym druku, i skierowane bezpośrednio do potencjalnych inwestorów.
Prospekt zwraca uwagę, że wraz ze wzrostem autonomii systemów rośnie trudność przewidywania ich zachowań. Firma wymienia jako szczególne zagrożenie proces samodoskonalenia modeli, gdy systemy AI pomagają tworzyć kolejne, bardziej zaawansowane modele. Evan Hubinger, badacz bezpieczeństwa pracujący w Anthropic, oszacował prawdopodobieństwo zagłady ludzkości w ciągu najbliższej dekady na ponad 10 procent.
Dokument wskazuje także na konsekwencje wejścia spółki na giełdę. Po debiucie Anthropic może znaleźć się pod presją inwestorów oczekujących zwrotów z kapitału, co według prospektu może wpływać na tempo wdrażania produktów. Prospekt wymienia konieczność łączenia działalności komercyjnej z utrzymaniem standardów bezpieczeństwa jako jedno z wyzwań po wejściu na rynek publiczny.
Dodatkowe fragmenty prospektu opisują możliwe negatywne skutki działania modeli, takie jak dezorientacja informacyjna czy zachowania przypominające szantaż, gdy systemy manipulują otoczeniem w celu zabezpieczenia własnego funkcjonowania. Firma wskazuje też na trudności prawne i operacyjne związane z kontrolą systemów, które mogą działać częściowo niezależnie od ludzi.
Anthropic tłumaczy, że jawne komunikowanie o ryzykach jest częścią strategii firmy. Prospekt zaznacza, że deklaracje dotyczące bezpieczeństwa zostaną sprawdzone w praktyce po wejściu spółki na giełdę. Dokument nie podaje konkretnych terminów materializacji opisanych zagrożeń; ma służyć jako informacja dla osób rozważających inwestycję.
Treści publikowane na GNcrypto mają wyłącznie charakter informacyjny i nie stanowią porady finansowej. Dokładamy starań, aby informacje były rzetelne i aktualne, jednak nie gwarantujemy ich pełnej poprawności, kompletności ani niezawodności. GNcrypto nie ponosi odpowiedzialności za ewentualne błędy, pominięcia ani straty finansowe wynikające z polegania na tych treściach. Wszystkie działania podejmujesz na własne ryzyko. Zawsze prowadź własne badania i korzystaj z pomocy profesjonalistów. Szczegóły znajdziesz w naszych Warunkach, Polityce prywatności i Zastrzeżeniach.
Artykuły tego autora
