Mistral Large 4 ma bilion parametrów. 49 mld aktywnych

Francuski Mistral udostępnił model językowy Large 4, nazywany przez firmę także „Le Chonk”. Model ma bilion parametrów, lecz przy pojedynczym zadaniu wykorzystuje około 49 miliardów. Obecnie można korzystać z niego w publicznej wersji testowej przez interfejs API.

Large 4 korzysta z architektury, w której przy każdym zapytaniu uruchamiana jest tylko część parametrów. Pozwala to ograniczyć zasoby potrzebne do obsługi modelu w porównaniu z rozwiązaniem, które wykorzystywałoby wszystkie parametry jednocześnie. Mistral określa Large 4 jako najmocniejszy model z otwartymi wagami opracowany dotąd w Europie lub Stanach Zjednoczonych.

Do treningu wykorzystano około 3800 układów Nvidia Grace Blackwell. Dane szkoleniowe obejmowały ponad 160 języków. Mistral przedstawia Large 4 jako projekt rozwijany we Francji, choć do jego stworzenia użyto sprzętu amerykańskiej firmy Nvidia.

Model ma obsługiwać programowanie, zadania agentowe, analizę obrazów, finanse i cyberbezpieczeństwo. Może wykonywać zadania wymagające planowania oraz korzystania z narzędzi. Przetwarza informacje zapisane w tekście i na obrazach.

Na razie dostęp do Large 4 odbywa się przez API. Mistral zapowiedział publikację wag pod koniec października. Ich udostępnienie pozwoliłoby uruchamiać model we własnych środowiskach, a także analizować i modyfikować jego działanie. Firma nie podała szczegółów licencji.

Skala treningu Large 4 jest mniejsza niż w przypadku największych amerykańskich laboratoriów. Według dostępnych informacji firmy te korzystają z flot liczących dziesiątki lub setki tysięcy układów graficznych, podczas gdy Mistral trenował swój model na około 3800 układach.