Thinking Machines Lab опубликовала Inkling-Small — компактную версию своей флагманской Inkling. Компания называет релиз efficient open-weights model: Inkling-Small, по ее словам, показывает сопоставимое качество с Inkling при примерно четверти размера.

Если смотреть на цифры, Inkling-Small — это MoE-трансформер с 276 млрд параметров всего и 12 млрд активных. Модель принимает текст, изображения и аудио, генерирует текст, работает в контекстном окне до 1 млн токенов и использует схему с 6 из 256 экспертов на токен плюс 2 shared experts. Для сравнения, старшая Inkling имеет 975 млрд параметров всего и 41 млрд активных.

По собственной оценке Thinking Machines, Inkling-Small хорошо держится не только на обычных мультимодальных задачах, но и в сценариях с инструментами и агентным поведением. В блоге компания пишет, что модель близка или лучше Inkling на ряде бенчмарков по reasoning и agentic coding, а на HLE у нее 31,6%, на SWE-bench Verified — более 80%. При этом сама компания прямо говорит, что Inkling-Small не является «лучшей моделью вообще»; ее позиционируют скорее как сильную базу для доработки и прикладного использования.

Компания Thinking Machines Lab представила открытую мультимодальную модель Inkling-Small с архитектурой Mixture-of-Experts (MoE). При общем размере 276 млрд параметров модель активирует лишь 12 млрд параметров на токен, сохраняя высокую производительность и полную публикацию весов для сообщества разработчиков.

Несмотря на статус «младшей» версии, Inkling-Small превзошла исходную Inkling с 41 млрд активных параметров сразу в нескольких ключевых тестах.

На Terminal-Bench 2.1 она набрала 64,7% против 63,8%, на Humanity's Last Exam — 31,6% против 29,7%, а в WE-Bench Verified достигла 80,2% против 77,6%. Такой результат разработчики объясняют улучшенной схемой обучения: модель дообучили методом on-policy-дистилляции, используя старшую Inkling в качестве «учителя», а затем ещё две недели обучали с помощью reinforcement learning на задачах агентного программирования.

Что пишут другие издания

  • iXBT: Thinking Machines Lab выпустила открытую Inkling-Small: модель оказалась сильнее старшей версии при втрое меньшей нагрузке