ByteDance trenuje model SI do 10 bilionów parametrów

ByteDance rozpoczęło wstępne trenowanie dużego modelu sztucznej inteligencji, który może osiągnąć do 10 bilionów parametrów. Osoby zaznajomione ze sprawą informują, że model jest w fazie wstępnego trenowania, a jego ostateczny rozmiar zostanie ustalony później. Wstępne trenowanie zwykle trwa od trzech do sześciu miesięcy; po nim zaplanowano dokładne dostrajanie i testy przed ewentualnym udostępnieniem użytkownikom lub klientom korporacyjnym.

Liczba parametrów odzwierciedla skalę infrastruktury i ambicje badawcze, ale nie przesądza o jakości wyników. Na możliwości systemu wpływają jakość i wielkość danych treningowych, zastosowane metody trenowania, architektura modelu oraz sposoby dalszego dostrajania i optymalizacji.

ByteDance rozwija głównie zamknięte modele i ujawnia mniej szczegółów niż niektórzy konkurenci. W ofercie firmy znajduje się system generowania wideo Seedance; jego wersja 2.0 została wydana w lutym 2026 roku. Konsumencki model Doubao ma około 324 mln aktywnych użytkowników miesięcznie w Chinach.

Firma rozbudowuje centra danych, rozwija dział chmurowy Volcano Engine oferujący rozwiązania AI dla firm oraz prowadzi prace nad własnymi układami AI. Wcześniejsze komunikaty firmy wskazywały na plany wydatków na infrastrukturę AI rzędu nawet 170 miliardów dolarów.

Prace nad dużymi modelami prowadzi zespół Seed pod kierownictwem Wu Yonghuia, byłego badacza Google DeepMind. Zespół liczy około 2 tys. osób w Chinach i za granicą, w tym badaczy, inżynierów infrastruktury, specjalistów od anotacji danych i tłumaczy. ByteDance informuje, że realizuje samodzielny rozwój modeli i nie stosuje szeroko praktyk destylacji, czyli trenowania mniejszych modeli na odpowiedziach większego modelu-„nauczyciela”.

Na wewnętrznym spotkaniu założyciel Zhang Yiming wezwał zespół Seed, by w długim horyzoncie dążył do „światowego poziomu możliwości modelu” i nie koncentrował się na krótkoterminowym porównaniu z konkurencją.