ByteDance почала навчання ШІ‑моделі до 10 трлн параметрів
ByteDance розпочала попереднє навчання моделі ШІ потенційно до 10 трлн параметрів; компанія переважно розвиває закриті системи і планує тонке налаштування після попереднього етапу.
За даними трьох джерел, близьких до проєкту, ByteDance розпочала попереднє навчання великої моделі штучного інтелекту з потенційною кількістю параметрів до 10 трлн. Остаточний розмір моделі має бути визначений пізніше.
Попереднє навчання зазвичай триває від трьох до шести місяців. Після цього компанія планує провести тонке налаштування моделі та оцінити можливість її інтеграції в продукти і хмарні сервіси за умови успішного завершення етапів розробки.
Якщо модель досягне оголошеного масштабу, вона може стати однією з найбільших за кількістю параметрів. Для порівняння, деякі великі системи оцінюються приблизно в 8 трлн параметрів, а низка китайських команд працює над моделями близько 5 трлн параметрів; модель Kimi K3 має значно меншу кількість параметрів.
Кількість параметрів впливає на базову здатність моделі зберігати й обробляти інформацію, але кінцеві результати залежать також від обсягу й якості навчальних даних, методів навчання, архітектури та підходів до налаштування і оптимізації.
ByteDance поступово розширює інвестиції в інфраструктуру та дослідження: компанія нарощує мережу дата-центрів, розвиває хмарний підрозділ Volcano Engine і працює над власними ШІ-чипами. Відеогенеративна модель Seedance і її оновлення 2.0, випущене в лютому 2026 року, привернули увагу, а споживча модель Doubao має близько 324 млн активних користувачів на місяць.
Розробкою працює команда Seed під керівництвом колишнього дослідника Google DeepMind Ву Юнхуея. За даними джерел, у команді задіяно близько 2 000 співробітників у Китаї та за кордоном, включно з дослідниками, інженерами інфраструктури, фахівцями з розмітки даних і перекладачами.
Компанія переважно розвиває закриті моделі і віддає перевагу самостійній розробці архітектур та навчальних підходів. За інформацією зсередини, засновник ByteDance Чжан Їмінь близько двох тижнів тому на внутрішній зустрічі закликав команду Seed орієнтуватися на «світовий рівень можливостей моделі».
У разі успіху після етапу попереднього навчання ByteDance планує оцінити комерційні варіанти застосування моделі в своїх продуктах і хмарних сервісах. Значний розмір моделі потребуватиме великих обчислювальних ресурсів і підходів до контролю якості даних та безпеки.
Матеріали на GNcrypto надаються виключно з інформаційною метою і не є фінансовою порадою. Ми намагаємось забезпечувати точність та актуальність даних, однак не можемо гарантувати їхню повну достовірність чи надійність. GNcrypto не несе відповідальності за можливі помилки, упущення або фінансові збитки, що можуть виникнути внаслідок використання цієї інформації. Усі дії ви здійснюєте на власний ризик. Завжди проводьте власне дослідження та звертайтесь до фахівців. Детальніше дивіться на наших сторiнках Умови, Політика конфіденційності та Дисклеймер.
Статті цього автора
