3 октября 2026 года компания Aleph Alpha выпустила новую большую языковую модель под названием Kolibri. Трансформер на архитектуре MoE (Mixture-of-Experts), работающий на английском и немецком языках, содержит в сумме 78,1 миллиарда параметров, однако на каждый токен активно задействовано лишь 3,46 миллиарда из них. Полный вес модели опубликован на платформе Hugging Face под лицензией Apache 2.0 — то есть её разрешено скачивать, использовать в коммерческих целях, дообучать (fine-tuning) и разворачивать локально (on-premise).

Компания сообщила, что приурочила релиз ко Дню объединения Германии (3 октября):

«On the Day of German Reunification, we are releasing our new model: Kolibri.» — официальный блог Aleph Alpha

Kolibri — продукт автоматизированного конвейера обучения моделей, который компания называет «Model Factory». Ранее тот же конвейер был испытан на прототипе Kolibri Origin: небольшая модель с 30,6 миллиарда параметров и контекстным окном в 65 тысяч токенов публично не выпускалась. По словам компании, за три месяца между двумя релизами число параметров выросло с 30 до 78 миллиардов, длина контекста — с 65 тысяч до 1 миллиона токенов, а объём обучения — с 7,5 до 20 триллионов токенов. Чтобы получить 20 триллионов токенов, конвейер обработал более 200 триллионов сырых токенов — они были отфильтрованы, очищены от дубликатов и отобраны.

Технические характеристики модели

Благодаря архитектуре MoE Kolibri нацелена на баланс между качеством и стоимостью обслуживания: по собственным сравнениям компании, модель находится на «границе Парето» качества и затрат для английского и немецкого языков — то есть за ту же цену нет модели качественнее, а при том же качестве — дешевле. Ключевые технические факты:

  • всего 78,1 миллиарда параметров, 3,46 миллиарда активных параметров на токен;
  • длина контекста — до 1 миллиона токенов (максимальная длина, на которой модель обучалась, — 262 144 токена);
  • двуязычность, токенизатор на 128 тысяч; 21,3% токенов предобучения — на немецком языке;
  • порог знаний — 18 июня 2026 года;
  • дата релиза на карточке модели Hugging Face — 3 октября 2026 года, лицензия — Apache 2.0.

Детали архитектуры тоже открыты: все 50 слоёв — MoE (с одним общим экспертом), всего 384 эксперта, на каждый токен активны 6 из них. Механизм внимания — скользящее окно размером 512 в сочетании с полным вниманием в каждом пятом слое. Предобучение началось с базовой длины 16 384 токена.

Компания особо подчёркивает двуязычность: токенизатор специально разработан для немецкого и английского языков, переведённого текста использовалось мало (всего 6%), поскольку переводы часто привносят культурный след исходного языка. Как говорится в блоге, результат — не модель, «обученная на английском и немного почитавшая по-немецки», а двуязычная по дизайну модель.

Результаты бенчмарков: собственные заявления компании

Все баллы бенчмарков, приведённые в анонсе Kolibri, — собственные измерения Aleph Alpha; независимыми источниками они пока не подтверждены. В таблице компании Kolibri показала следующие результаты: AIME 2025 — 96,9, AIME 2026 — 96,0, GPQA Diamond — 84,3 (в немецком варианте 81,3). Для сравнения в той же таблице приведены Qwen3.6-35B-A3B (AIME 2025 — 84,6), Nemotron 3 Super 120B-A12B (91,7) и Mistral Small 4 119B-A6B (79,8).

По выводам блога, Kolibri в математике, написании кода, граундинге и задачах с длинным контекстом догоняет модели с вчетверо большим числом активных параметров, включая Nemotron 3 Super. Однако компания признаёт, что публичные бенчмарки не полностью отражают отраслевые потребности клиентов, — поэтому для таких направлений, как госсектор Германии, авиация, производство и автомобилестроение, разработаны собственные внутренние наборы оценки. В этих внутренних тестах показатели модели стабильно росли на этапах постобучения, что показано графиками, однако и эти данные основаны на собственной отчётности компании и внешней проверке не подвергались.

О масштабе обучения блог пишет так: предобучение на 20 триллионах токенов продолжалось 21 день на 768 GPU NVIDIA B200; Kolibri Origin завершил обучение 11 июня 2026 года, а Kolibri — 11 сентября 2026 года. По словам компании, за эти 21 день произошло 38 внеплановых остановок — из-за аппаратных сбоев или разрывов соединения — и конвейер автоматически устранил их все без вмешательства человека: кластер перезапустил обучение на других узлах, а процесс продолжился с контрольной точки, отстоявшей максимум на 250 шагов.

«Суверенная» модель: соответствие европейскому законодательству

Aleph Alpha позиционирует Kolibri как «суверенную» модель: она разработана в Германии, обучена на инфраструктуре в Германии и Финляндии и создана в рамках европейского и немецкого законодательства. Компания заявляет, что модель строилась с учётом требований EU AI Act, кодекса практики для ИИ общего назначения и GDPR, с особым вниманием к вопросам авторского права.

Целевые отрасли — регулируемые сферы: государственное управление, промышленность и аэрокосмическая отрасль. По заявлению компании, суверенность объединяет два измерения: как построена модель и как она передаётся клиентам. Компактный и эффективный размер модели позволяет клиентам запускать её локально (on-premise), не отправляя внутренние данные сторонним inference-сервисам. Также в блоге упоминается протокол «Merlin-Arthur»: модель обучена говорить «не знаю», когда контекст не подтверждает ответ, — по словам компании, это функция, которую просили клиенты. Компания подчёркивает, что вся цепочка поставок — от сбора и отбора данных до предобучения, постобучения и финальной оценки — прозрачна.