Aleph Alpha выпустила открытую ИИ-модель Kolibri

Немецкая Aleph Alpha 3 октября представила Kolibri — англо-немецкую ИИ-модель для государственных организаций и компаний из регулируемых отраслей. Релиз приурочили ко Дню германского единства. Полные веса опубликованы на Hugging Face по лицензии Apache 2.0.

Kolibri построена на архитектуре Mixture-of-Experts и содержит 78,1 млрд параметров. При обработке одного токена активируются около 3,46 млрд параметров. Модель поддерживает рассуждения и вызов внешних инструментов, а также четыре режима рассуждений: none, low, medium и high.

Контекстное окно Kolibri рассчитано максимум на 1 048 576 токенов. Aleph Alpha выпустила модель в форматах BF16 и FP8. FP8-версия требует около 78 ГБ видеопамяти, BF16-версия — примерно 156 ГБ. Для запуска разработчик рекомендует один ускоритель Nvidia H200, B200 или B300 либо два A100 с 80 ГБ памяти или H100 SXM5.

Компания называет Kolibri «суверенной» моделью для государственного управления, промышленности и аэрокосмической отрасли. Над ней работали команды в Германии, а обучение проходило на немецкой и финской инфраструктуре с соблюдением законодательства Германии и Евросоюза. Модель можно развернуть на собственных серверах без передачи внутренних данных внешнему поставщику облачных ИИ-сервисов.

При разработке учитывались требования европейского AI Act, Кодекса практик для моделей общего назначения и GDPR. Kolibri обучили отказываться от ответа, если контекста недостаточно для подтверждения информации. Для этого Aleph Alpha использовала собственный подход Merlin-Arthur.

Предварительное обучение проводилось на 768 графических процессорах Nvidia B200. Основной этап занял 21 день: модель обработала 20 трлн токенов при длине последовательности 16 384. Затем ее дообучили на 3,44 трлн токенов с контекстом 65 536 и адаптировали к длинному контексту на 201 млрд токенов при длине последовательности 262 144. Всего на трех этапах использовали около 23,64 трлн токенов.

Доля немецкого языка в исходном массиве данных составила 21,3%, английского — около 62%, программного кода — около 14%. Уникальный немецкоязычный корпус включал около 2,4 трлн токенов. Примерно 85% немецких текстов составили веб-материалы и созданные на их основе переформулировки. Остальное пришлось, в частности, на парламентские документы и юридические тексты. Доля контента, переведенного с английского машинными системами, составила около 6%.

Для Kolibri разработали отдельный англо-немецкий токенизатор. Он учитывает морфологию обоих языков и сложные составные слова немецкого языка.

В тестах Aleph Alpha модель набрала 96,7% на AIME 2026, 90,2% на немецкоязычной версии этого теста, 84,8% на GPQA Diamond и 85,1% на LiveCodeBench v6. Компания сравнила Kolibri с Qwen3.6-35B-A3B, Nemotron 3 Super 120B-A12B и Mistral Small 4 119B-A6B. По данным разработчика, в ряде задач по математике, программированию, длинному контексту и использованию инструментов Kolibri показала результаты, сопоставимые с моделями, у которых активируется до четырех раз больше параметров. Все эти результаты получила Aleph Alpha, независимой проверки не было.

Со 2 августа Еврокомиссия получила полномочия штрафовать поставщиков моделей общего назначения за нарушение требований AI Act. Максимальный размер санкции составляет €15 млн или 3% глобального годового оборота компании.