ByteDance начала обучение модели до 10 трлн параметров

ByteDance запустила этап предварительного обучения масштабной языковой модели, которую планируют довести до размера до 10 трлн параметров. Разработка остаётся в закрытом режиме, окончательный объём параметров определят по мере прогресса обучения.

Процесс предварительного обучения начат и, по данным собеседников, обычно занимает от трёх до шести месяцев. После этой фазы компания рассчитывает провести дополнительную донастройку модели и принять решение о возможном релизе на основе результатов обучения.

Потенциальный масштаб — до 10 трлн параметров — сравним с крупнейшими обсуждаемыми системами на мировом рынке и примерно в три раза превышает оценённый размер китайской модели Kimi K3. Эксперты отрасли оценивают объём параметров ведущих зарубежных систем примерно в 8 трлн параметров, однако окончательная цифра для модели ByteDance пока не зафиксирована.

Разработкой занимается внутренняя команда Seed под руководством бывшего исследователя Google DeepMind Ву Юнхуэя. По сведениям источников, в проекте участвуют около 2 000 человек в Китае и за рубежом: исследователи, инженеры инфраструктуры, специалисты по разметке данных и переводчики. Компания одновременно расширяет сеть дата‑центров, развивает облачное подразделение Volcano Engine и работает над собственными ИИ‑чипами. В ранее представленных планах фигурировала сумма до $170 млрд на развитие ИИ‑инфраструктуры.

Компания делает ставку на закрытую разработку и отказывается от практики дистилляции чужих моделей — обучения меньшей модели на основе результатов более крупной. На внутренней встрече основатель ByteDance Чжан Иминь призвал команду Seed «ориентироваться на мировой уровень возможностей модели».

Специалисты отмечают, что количество параметров отражает масштабы инфраструктуры и объём вычислительных ресурсов, но не автоматически определяет качество модели. На итоговые способности влияют качество и объём обучающих данных, методы обучения, архитектура модели и последующая настройка.

В портфеле ByteDance уже есть продуктовые достижения: видеогенеративная модель Seedance получила обновление до версии 2.0 в феврале 2026 года, а потребительская модель Doubao имеет около 324 млн активных пользователей в месяц. Параллельно другие китайские лаборатории работают над крупными моделями порядка 5 трлн параметров и демонстрируют высокие результаты в ряде тестов.