Open-weights Mistral: локальный запуск без лишних обещаний

Открытые веса Mistral — отдельная ветка продукта, не «кнопка Free в Le Chat». Здесь — честный how-to: зачем self-host, что подготовить и где люди обычно ошибаются.

Open-weights vs Le Chat — короткая таблица

Облачный старт: Как пользоваться Le Chat.

Зачем вообще локальный Mistral

• черновики с внутренними регламентами без выгрузки в SaaS;
• офлайн-стенд или air-gapped контур;
• эксперименты с промптами на предсказуемом железе;
• сравнение качества с облаком на одних и тех же примерах.

На сайте уже есть углы «облако vs локальный Mistral» в старых материалах — например DeepSeek chat vs локальный Mistral и облачный Gemini vs локальный Mistral. Этот гайд — про как поднять веса, а не про SERP DeepSeek/Gemini.

Что скачать: лицензия и карточка модели

FACT. У open-weights моделей Mistral есть публичные карточки и тексты лицензий (Hugging Face / docs). Перед внедрением в рабочий контур в компании прочитайте лицензию: коммерческое использование, attribution, ограничения.

Не опирайтесь на «все Mistral полностью свободны» как на слоган — сверяйте конкретный model id.

Железо: без магических цифр

HYPOTHESIS / правило. Универсальную цифру «N GB хватит всем моделям Mistral» мы не публикуем: квантизация, длина контекста и id модели меняют потребление.

Практично:
1. Выберите модель и квантизацию (например Q4/Q5 — если используете такой стек).
2. Посмотрите community/bench для вашего GPU/CPU.
3. Оставьте запас под контекст и ОС.
4. На CPU-only ожидайте медленные ответы на больших моделях — это норма, не баг статьи.

Типовой стек (высокий уровень)

Варианты, которые чаще встречаются у практиков:
— Ollama / аналоги — быстрый старт чата локально;
— llama.cpp и обёртки — контроль квантизации;
— vLLM / TGI — ближе к серверному API у себя;
— Свой тонкий UI поверх OpenAI-совместимого endpoint.

Команды установки зависят от ОС и версии инструмента — копируйте их из актуальной документации стека, а не из устаревших гайдов.

Минимальный чеклист первого запуска

1. Драйверы GPU / достаточно RAM.
2. Свободное место под веса.
3. Скачивание конкретного model id.
4. Тестовый промпт на 1 абзац.
5. Замер скорости (токены/сек у себя).
6. Только потом — длинные документы.

Безопасность self-host

• Локально ≠ безопасно, если открыли порт в интернет без auth.
• Логи чатов на диске тоже ПДн.
• Плагины/агенты с доступом к файловой системе проверяйте отдельно.
• Не кладите ключи облачного API Mistral в тот же .env, что торчит в git.

Когда локаль проигрывает облаку

• нет GPU и нужна быстрая итерация;
• команде важны SLA и поддержка вендора;
• модель в облаке свежее, чем ваш скачанный снапшот.

Тогда возвращайтесь в Le Chat или API: документы и API, лимиты Free.

Связка с кодом

Локальный Mistral удобен для приватных репозиториев. Сравнение стиля с Claude — в Mistral vs Claude для кода, с оговоркой: локальная квантизация может отличаться от облачной модели.

FAQ

Это легально? FACT-рамка: при соблюдении лицензии конкретной модели — да для разрешённых сценариев; корпоративный юротдел всё равно читает текст лицензии.

Можно ли без GPU? Часто да на маленьких квантизациях, но медленно.

Заменит ли локаль Le Chat полностью? Для части задач — да; для удобства и свежих фич UI — не всегда.

Источники

• Карточки моделей / лицензии Mistral, docs вендора — сверка 2026-09-20.
• Документация выбранного рантайма (Ollama, llama.cpp, vLLM и т.д.).

Черновик политики для небольшой команды

1. Le Chat — для публичных черновиков и обучения.
2. Локальный Mistral — для внутренних регламентов и кода с секретами (после ревью лицензии).
3. Inference-порт наружу — только через auth и reverse proxy.
4. Раз в квартал — обновление model id и пересмотр лицензии.

Типичный провал

Купили мощный GPU, скачали самую большую модель, не измерили задержку на реальных промптах и разочаровались за два дня. Правильнее: малая квантизация → замеры → решение об апгрейме.

Рядом: старт Le Chat, Mistral vs Claude для кода, документы и API.

Чеклист перед внедрением в рабочий контур на своём железе

• [ ] Лицензия model id прочитана.
• [ ] Есть процедура обновления весов.
• [ ] Логи и чаты не пишутся в открытый бакет.
• [ ] Есть лимит concurrent запросов.
• [ ] Есть план отката на облако/другую модель при деградации.

Локаль даёт контроль, но переносит ответственность на вас: мониторинг, патчи, доступ.

Краткий итог

Open-weights Mistral — про контроль и данные, а не про «вечный бесплатный облачный безлимит». Выберите model id, проверьте лицензию и железо, закройте порты, измерьте скорость на своих примерах. Хаб продукта: главная · старт в облаке: что это Le Chat. Конкретный пример с требованиями к железу — локальный запуск Mistral Medium 3.5.