Moonshot AI представил Kimi K3 с 2,8 трлн параметров

Китайский стартап Moonshot AI выпустил Kimi K3 — открытый языковой и мультимодальный модельный набор с 2,8 трлн параметров, нативным зрением и контекстным окном на один миллион токенов. Компания называет K3 первой в мире открытой моделью класса 3T.

Архитектура модели основана на двух ключевых компонентах: Kimi Delta Attention (KDA) для работы с очень длинными последовательностями и Attention Residuals (AttnRes), который выбирает, с каких слоёв извлекать информацию. Для реализации разрежённости применён фреймворк Stable LatentMoE: в системе задействованы 896 экспертов, из которых одновременно активны 16. По данным Moonshot AI, в сочетании с новыми данными и настройками обучения это увеличило эффективность примерно в 2,5 раза по сравнению с предыдущей моделью K2.

Модель доступна на сайте проекта, в интерфейсах Kimi Work и Kimi Code, а также через API. По умолчанию включён режим «максимального размышления». Полные веса и подробный отчёт планируют опубликовать 27 июля.

На ряде бенчмарков K3 показала сопоставимые или лучшие результаты по отношению к некоторым коммерческим моделям, но уступила в других тестах. K3 лидирует на SWE Marathon (42 балла против 35 и 39 у конкурентов), BrowseComp (91,2) и Program Bench (77,8). На Terminal Bench 2.1 модель набрала 88,3 балла, что выше чем у одного из коммерческих образцов (84,6) и на 0,5 ниже другого (88,8). В то же время на FrontierSWE и HLE-Full K3 набрала 81,2 и 43,5 балла соответственно, что ниже результатов некоторых коммерческих систем. Moonshot AI указывает, что методики тестирования отличались: оценки проводились через разные инструменты, включая Claude Code, Codex и собственный KimiCode.

K3 предназначена для длительных инженерных сессий и агентных задач. В тесте оптимизации GPU-ядер модель работала автономно до 24 часов над несколькими задачами на платформах с NVIDIA H200 и другими GPU, показав результаты, сравнимые с одним из коммерческих лидеров и опережая ряд других моделей. На поздних этапах разработки ранние версии K3 выполняли значительную часть оптимизаций внутри команды Moonshot. Отдельно модель с нуля написала MiniTriton — компактный компилятор для GPU-ядер с собственным IR-слоем поверх MLIR и генерацией PTX-кода.

В демонстрации проектирования аппаратуры K3 за 48 часов самостоятельно спроектировала нейросетевой чип с помощью open-source EDA-инструментов и библиотеки Nangate 45 нм. По результатам симуляции чип занял около 4 мм², работал на частоте 100 МГц и демонстрировал более 8 700 токенов в секунду. В проекте фигурировали 1,46 млн стандартных ячеек, 0,277 МБ SRAM и массив INT4 MAC с встроенной деквантизацией.

Модель применялась к научным и мультимодальным задачам. В одном случае K3 воспроизвела соотношения I‑Love‑Q из вычислительной астрофизики за примерно два часа, обработав более 20 статей и свыше 300 уравнений состояния, выявив несогласованности и сгенерировав свыше 3 000 строк Python-кода с интерактивным HTML-дашбордом. В другом примере модель подготовила отчёт по истории индустрии ASIC, обработав свыше 11 000 страниц из корпоративных отчётов и PDF. Нативная работа с видео позволила K3 смонтировать объясняющую анимацию собственной архитектуры и собрать тизер из 56 клипов с подбором кадров, синхронизацией с музыкой и обработкой звука.

Команда проекта отмечает технические ограничения: модель чувствительна к потере последовательности размышлений при переключении агентной среды в середине сессии и может проявлять чрезмерную инициативу в неоднозначных ситуациях. По удобству использования K3 пока уступает некоторым коммерческим моделям, заявляют в Moonshot AI.

Ранее, в июле 2025 года, Moonshot AI выпустила Kimi K2 с одним трлн параметров. K3 следует за этой релизной линией и доступна для тестирования разработчиками и исследователями.