Muse Code w becie; Muse Spark 1.2 przegrywa z Claude Opus 5

Mark Zuckerberg ogłosił w środę uruchomienie Muse Code w wersji beta i opublikował zestaw porównań wydajności modeli używanych w narzędziu. Meta przedstawiła wykresy, w których model Muse Spark 1.2, napędzający Muse Code, uzyskał gorsze wyniki niż Anthropic Claude Opus 5 we wszystkich czterech testach opublikowanych przez firmę.

W teście Terminal-Bench 2.1, który obejmuje 89 rzeczywistych zadań takich jak naprawy systemów, przetwarzanie danych i zadania związane z bezpieczeństwem, Meta podała wynik 82,9% dla Muse Spark 1.2 i 86,7% dla Claude Opus 5. W tym samym porównaniu Muse Spark 1.2 przewyższył OpenAI Codex (81,8%) oraz Grok Build (81,6%).

W surowszym teście DeepSWE 1.1, obejmującym 113 zadań programistycznych bez dostępu do internetu, Muse Spark 1.2 osiągnął 59,3%, co dało mu trzecie miejsce wśród badanych modeli. Meta przeprowadziła też test oparty na 440 rzeczywistych pull requestach z własnych repozytoriów; według firmy Muse Spark 1.2 uzyskał 70,6%, o około dziewięć punktów mniej niż Opus 5.

Meta opisała także zadanie optymalizacji kernela na architekturze NVIDIA Hopper wykonane przez Muse Spark 1.2. Model wykonywał ponad 1000 wywołań narzędzi w ciągu 24 godzin i wykrywał rzeczywiste przyspieszenia po początkowej eksploracji. Firma wskazała, że wynik 82,9% jest oparty wyłącznie na jej własnych testach, ponieważ Muse Spark 1.2 nie figuruje jeszcze na publicznej liście niezależnych benchmarków, gdzie dotychczas przebadano 26 z planowanych 183 modeli.

Meta porównała Muse Spark 1.2 także z modelem GPT-5.6 Terra. W publicznych rankingach Terminal-Bench 2.1 występuje silniejszy model OpenAI o nazwie Sol, który osiąga 89,5%, a Claude Opus 5 89,1% w tym niezależnym zestawieniu. W zadaniu kernela GPU Sol poprawił wynik bazowy o 71,2%; Muse Spark 1.2 osiągnął 68,7% i w tej próbie znalazł się na czwartym miejscu wśród sześciu testowanych modeli.

Na X Mark Zuckerberg opublikował krótką notkę: „Releasing Muse Code in beta today.” Meta opisuje Muse Code jako terminalowego agenta kodującego, który wykonuje pełne zadania inżynierii oprogramowania w dużych repozytoriach, w tym planowanie zmian, pisanie kodu i walidację wyników. Firma informuje, że agent wykorzystuje podagentów pracujących w oddzielnych kopiach repozytoriów i utrzymuje kontekst całej sesji w tle.

Meta podała także ceny pierwszego płatnego API: 1,25 USD za milion tokenów wejściowych oraz 4,25 USD za milion tokenów wyjściowych. Poziom „contributor” ma być ponad dziesięć razy tańszy dla programistów, którzy wyrażą zgodę na wykorzystanie ich kodu do trenowania modeli. Alexander Wang, założyciel przejętej przez Meta firmy Scale AI i obecny szef Meta Superintelligence Labs, odmówił ujawnienia liczby użytkowników Muse Spark.

Pojawiły się informacje o rozmowach między Meta a Anthropic dotyczących wynajmu mocy obliczeniowej; umowa mogłaby objąć do 10 mld USD w ciągu dwóch lat i zakładać wykorzystanie centrów danych Meta do obsługi modeli Claude. Meta opublikowała także wyniki finansowe: przychody wzrosły o 28% do 60,8 mld USD w ostatnim kwartale, zysk operacyjny spadł o 8% do 18,8 mld USD, marża operacyjna obniżyła się do 31% z 43% rok wcześniej, a wydatki inwestycyjne w kwartale wyniosły 31,08 mld USD z prognozą do 145 mld USD na cały rok.

Beta Muse Code ma pozwolić deweloperom na praktyczne testy narzędzia i jego zachowania w dużych projektach.