Kimi K3: chiński model 2,8 bln parametrów, wagi 27 lipca

Moonshot AI przedstawił Kimi K3, model sztucznej inteligencji o 2,8 biliona parametrów i oknie kontekstowym obejmującym około 1 miliona tokenów. Firma zapowiada udostępnienie pełnych wag modelu do pobrania 27 lipca. Do tego czasu K3 jest dostępny do testów przez stronę producenta i poprzez API.

Kimi K3 opiera się na architekturze typu Mixture-of-Experts. Fizycznie model zawiera 896 wyspecjalizowanych „ekspertów”, z których w trakcie obsługi jednego zapytania aktywowanych jest 16. Dzięki temu nie są uruchamiane jednocześnie wszystkie parametry modelu, co obniża wymagania obliczeniowe przy zachowaniu dużej liczby parametrów.

Producent opisuje K3 jako system wielomodalny. Model przetwarza tekst i obrazy, potrafi pracować na dużych zbiorach kodu oraz realizować wieloetapowe zadania z ograniczonym udziałem człowieka. Wstępne niezależne testy oraz wewnętrzne porównania wykazały, że w niektórych zadaniach K3 dorównuje lub przewyższa wybrane rozwiązania konkurencyjne. W testach tworzenia interfejsów internetowych użytkownicy wskazywali preferencje wobec wyników K3 w porównaniu z badanymi modelami.

Do czasu publikacji wag deweloperzy nie mają możliwości samodzielnego uruchomienia i dokładnego przeanalizowania modelu na własnym sprzęcie. Po udostępnieniu wag instytucje i firmy dysponujące odpowiednią infrastrukturą będą mogły zainstalować system na własnych serwerach i dostosować go do własnych potrzeb.

Kimi K3 wymaga rozbudowanej infrastruktury obliczeniowej i dużych zasobów energetycznych, więc nie nadaje się do uruchomienia na standardowym laptopie. Model może być uruchamiany przez przedsiębiorstwa posiadające centra danych. Pełna weryfikacja deklarowanych możliwości będzie możliwa po udostępnieniu wag oraz po szerszych testach prowadzonych przez środowisko badawcze i deweloperów.