llama.cpp 0.6: локальный ИИ получил MTP и decision-модели

Команда llama.cpp выпустила версию 0.6.0 — крупное обновление одного из основных движков для запуска открытых моделей на локальном оборудовании. Релиз особенно важен для систем, где одна модель должна не только отвечать в чате, но и быстро выбирать инструменты, классифицировать запросы и обрабатывать разные типы данных.

Что появилось в релизе

• Развитие MTP: новый batch API умеет передавать состояния Multi-Token Prediction, а для Qwen4Exp добавлено MTP speculative decoding. В опубликованном разработчиками тесте декодирование на DGX Spark ускорилось примерно в 1,5 раза.
• Decision-модели: endpoint /v1/systemone позволяет небольшим специализированным моделям возвращать типизированные решения — категорию, оценку или вероятность. Такой контур подходит для маршрутизации, фильтрации и moderation без полного ответа большой LLM.
• Мультимодальные embeddings: сервер принимает типизированные входы с изображениями, аудио и видео. Это создаёт основу для единого локального поиска по документам и медиатеке.
• Ускорения для Apple Silicon: новые Metal-ядра ускоряют отдельные операции speculative и batch decoding до трёх раз. Это не означает трёхкратного ускорения всей модели, но уменьшает стоимость некоторых узких мест.
• Новые модели и форматы: расширена поддержка GLM-5.3-Flash, decision-моделей, reranker-сценариев и современных низкоразрядных вычислений.

Что это означает для BunkerAI

Само обновление движка не гарантирует ускорение любой конфигурации: результат зависит от модели, квантования, устройства, размера контекста и совместимости MTP-головы. Поэтому новые возможности сначала проходят наши повторяемые тесты качества, скорости и устойчивости.

В ближайших проверках мы сравним MTP с обычным декодированием на одинаковых моделях, оценим decision-модели для выбора инструментов и новостной фильтрации, а также измерим изменения Metal-производительности на Apple Silicon. В рабочие комплектации попадут только режимы, которые дают воспроизводимый выигрыш без деградации ответов.

Полный список изменений опубликован в официальном описании llama.cpp 0.6.0.