Mistral Medium 3.5 локально: что нужно, чтобы запустить открытую модель Mistral

Mistral Medium 3.5 — открытая модель на 128 млрд параметров. Сколько памяти нужно, как запустить её через Ollama, llama.cpp или vLLM и что разрешает лицензия.
Парень в очках работает за компьютером с кодом, рядом домашний сервер с огоньками, а жёлтый робот машет ему рукой

В апреле 2026 года Mistral AI выпустила Mistral Medium 3.5 и сразу выложила её веса в открытый доступ. Это первая «объединённая» флагманская модель компании: в одном наборе весов живут обычный чат, режим рассуждений и программирование. Именно она теперь отвечает пользователям ассистента Mistral и работает внутри агента для разработчиков Vibe.

Открытые веса означают, что модель можно скачать и запустить на своём железе — без интернета и без отправки данных в облако. Но 128 миллиардов параметров — это серьёзно. Разбираемся, какой компьютер для этого нужен, какими инструментами пользоваться и в каких случаях проще взять API.

Что такое Mistral Medium 3.5

Коротко о модели по официальной карточке на Hugging Face и документации Mistral:

  • Размер: 128 млрд параметров, плотная архитектура (все параметры работают на каждом токене, в отличие от моделей MoE).
  • Контекст: 256 тыс. токенов.
  • Входные данные: текст и изображения, ответ — текстом. Модуль зрения обучен с нуля и понимает картинки разного размера и пропорций.
  • Рассуждения: уровень настраивается в каждом запросе — <code>none</code> для быстрых ответов или <code>high</code> для сложных задач и агентной работы.
  • Инструменты: встроенный вызов функций и ответы в формате JSON.
  • Языки: десятки языков, в карточке перечислены английский, французский, испанский, немецкий, китайский, японский, арабский и другие.
  • Дата выхода: 28 апреля 2026 года.

Модель заменила сразу три предыдущих: Mistral Medium 3.1 и рассуждающую Magistral в чат-ассистенте, а также Devstral 2 в агенте для программирования. В тесте SWE-Bench Verified она набирает 77,6%, в агентном тесте τ³-Telecom — 91,4%. Что изменилось в самом ассистенте после переименования, мы рассказали в статье «Le Chat теперь Vibe».

Сколько памяти нужно

Главный вопрос при локальном запуске — объём видеопамяти или общей памяти компьютера. Полная версия весов в формате BF16 занимает около 250 ГБ, поэтому дома обычно используют сжатые (квантованные) версии в формате GGUF. Ниже — размеры файлов из популярного репозитория Unsloth:

ВерсияРазмер файлаДля чего подходит
BF16 (без сжатия)~250 ГБСерверы с несколькими GPU
Q8_0~133 ГБПочти без потери качества
Q4_K_M~75 ГБОсновной вариант для мощных рабочих станций
Q3_K_M~61 ГБКомпромисс при нехватке памяти
IQ2_XXS~35 ГБЭксперименты, качество заметно ниже

Памяти нужно больше, чем весит файл: ещё место занимает кэш контекста, и чем длиннее диалог или документ, тем больше. Поэтому для версии Q4 реалистичный ориентир — от 96 ГБ общей памяти (например, Mac с большим объёмом объединённой памяти или рабочая станция с несколькими видеокартами). На обычном игровом ПК с одной видеокартой на 16–24 ГБ эта модель работать не будет — для такого железа лучше подходят модели поменьше, о них ниже.

Способы запуска

Ollama — самый простой

В библиотеке Ollama модель есть под именем <code>mistral-medium-3.5</code>. Стандартная версия весит около 80 ГБ и поддерживает изображения, инструменты и режим рассуждений. Достаточно установить Ollama и выполнить в терминале:

<code>ollama run mistral-medium-3.5</code>

Есть и отдельные теги — например, версия с 8-битным сжатием <code>128b-q8_0</code> для тех, у кого много памяти.

llama.cpp и готовые GGUF

Для llama.cpp Mistral рекомендует GGUF-файлы от Unsloth. Важная деталь: в исходной конфигурации модели была ошибка, которая ухудшала работу с длинным контекстом. Её исправили, но GGUF, созданные до исправления, тоже затронуты. Скачивайте свежие файлы и обновляйте программы — иначе качество на длинных документах будет хуже.

vLLM и SGLang — для серверов

Для промышленного запуска разработчики рекомендуют vLLM. В официальном примере модель разворачивают сразу на восьми GPU с параллелизмом тензоров. Для ускорения есть отдельная вспомогательная модель EAGLE для спекулятивного декодирования. SGLang поддерживает модель с первого дня, в том числе на видеокартах H100, H200 и B200.

Mac и LM Studio

Для Mac сообщество выложило версии в формате MLX с 4-битным сжатием. Поддержка в LM Studio на момент публикации карточки была в разработке.

Рекомендуемые настройки

Mistral даёт простые рекомендации:

  • для сложных задач и агентного программирования — <code>reasoning_effort=»high»</code>, температура 0,7, top_p 0,95;
  • для быстрых ответов без рассуждений — <code>reasoning_effort=»none»</code>, температура от 0 до 0,7 в зависимости от задачи: ниже — точнее, выше — креативнее.

Модель хорошо следует системному промпту, поэтому постоянные правила лучше выносить туда.

Что разрешает лицензия

Веса распространяются по модифицированной лицензии MIT. Использовать, изменять и распространять модель можно бесплатно, в том числе в коммерческих целях, но с важным исключением: если месячная выручка вашей компании или работодателя превышает 20 млн долларов, права по этой лицензии не действуют. Таким компаниям нужно запросить коммерческую лицензию у Mistral или пользоваться облачными сервисами компании. Ограничение распространяется и на производные модели.

Для сравнения: у семейства Qwen условия зависят от конкретной модели — подробнее в нашем разборе Qwen 3.8 и её лицензий.

Локально или через API

КритерийЛокальный запускAPI Mistral
Приватность данныхДанные не покидают компьютерДанные уходят в облако
СтоимостьДорогое железо, затем бесплатно$1,5 за 1 млн входных и $7,5 за 1 млн выходных токенов
СкоростьЗависит от железаСтабильно высокая
КачествоСжатые версии немного хужеПолная модель

Сами разработчики честно пишут: если локальный запуск работает медленно или неудачно, лучше использовать API. Как сделать первый запрос, мы показывали в статье «Mistral для документов и первого API-вызова».

Если железо слабее

Mistral Medium 3.5 — модель для мощных машин. Если у вас обычная видеокарта, присмотритесь к моделям на 8–30 млрд параметров: их список с требованиями к памяти мы собрали в статье о том, чем заменить ChatRTX на видеокартах RTX. А если хочется научить модель своим данным, начните с инструкции по дообучению Llama через LoRA и QLoRA — тот же подход работает и с моделями Mistral.

Частые вопросы

Mistral Medium 3.5 бесплатная?

Веса можно скачать бесплатно и пользоваться ими по модифицированной лицензии MIT. Ограничение касается только компаний с выручкой больше 20 млн долларов в месяц.

Можно ли запустить модель на ноутбуке?

Только на очень мощном: даже сжатая версия Q4 весит около 75 ГБ. На большинстве ноутбуков лучше использовать облачную версию или модели поменьше.

Понимает ли модель русский язык?

Модель многоязычная, но русский в списке языков карточки отдельно не упомянут. Проверьте качество на своих задачах, прежде чем строить на ней рабочий процесс.

Чем Mistral Medium 3.5 лучше прошлых моделей Mistral?

Она объединяет чат, рассуждения и программирование, поэтому больше не нужно выбирать между Medium, Magistral и Devstral, и по словам Mistral превосходит прежние модели для кода во всех тестах.

Like this post? Please share to your friends:
Mistral Ai