Claude Fable 5 po aktualizacji budzi krytykę

Anthropic ponownie udostępnił model Claude Fable 5 1 lipca z nowymi, bardziej restrykcyjnymi klasyfikatorami bezpieczeństwa. Użytkownicy oraz grupa benchmarkowa BridgeMind zgłaszają, że filtry blokują zadania związane z kodowaniem i debugowaniem oraz spowodowały spadek wydajności w testach.

BridgeMind przeprowadził testy wersji z 1 lipca i odnotował wyraźne spadki wyników BridgeBench: zadania debugowania spadły z 86,2 do 25,9 punktu, refaktoryzacja z 73,6 do 38,4, a obsługa halucynacji z 75,9 do 61,7. Tylko trzy z dwunastu zadań debugowania zostały wykonane bez przełączenia na model Opus 4.8; każde przekierowanie (fallback) otrzymało wynik zero. Grupa wskazała, że spadki wyników wynikają z zablokowanych zadań, nie ze spadku zdolności rozumowania modelu. W komentarzu BridgeMind pojawił się jeden z opisów: „Model się nie pogorszył. Został zamknięty w klatce.”

Anthropic poinformował w oświadczeniu z 30 czerwca, że baza modelu nie została zmieniona, lecz firma rozszerzyła margines bezpieczeństwa i wprowadziła nowe klasyfikatory mające blokować więcej zadań związanych z cyberbezpieczeństwem. Firma przekazała, że zablokowane żądania są przekierowywane do Opus 4.8, a użytkownik otrzymuje powiadomienie o takim przekierowaniu. Prace badawcze wskazują, że filtr zatrzymuje większość prób obejścia zabezpieczeń; badacze Amazona ocenili skuteczność na ponad 99% przypadków obejścia. Departament Handlu USA przeanalizował obie wersje zabezpieczeń i ocenił je jako silne.

Harmonogram wydarzeń: Anthropic uruchomił Fable 5 9 czerwca. Trzy dni później władze w Waszyngtonie wstrzymały model. Ograniczenia eksportowe zostały zniesione 30 czerwca; jednocześnie przywrócono dostęp do wersji Mythos 5 wybranym instytucjom w USA. Przywrócony dostęp do Fable 5 obejmuje limity użycia: model korzysta z 50% tygodniowych limitów do 7 lipca, po czym przechodzi na system płatnych kredytów.

Kilka europejskich podmiotów wstrzymało decyzje dotyczące współpracy z Anthropic po zawieszeniu i wprowadzeniu ograniczeń. Anthropic współpracuje z Amazonem, Microsoftem i Google nad ramami oceny powagi tzw. jailbreaków. Analitycy i użytkownicy wskazują, że tempo redukcji fałszywych alarmów w klasyfikatorach będzie jednym z czynników decydujących o tym, czy zaawansowani użytkownicy pozostaną przy Fable 5.

Użytkownicy i testerzy informują o rosnącej liczbie przypadków, gdy legalne zadania programistyczne i sesje debugowania są blokowane, co wpływa na produktywność zespołów deweloperskich. Anthropic podkreśla, że pracuje nad poprawą trafności klasyfikatorów, aby zmniejszyć liczbę fałszywych alarmów, zachowując jednocześnie ochronę przed technikami obejścia zabezpieczeń.