•2 мин чтения
DeepSeek-V3.1 теперь можно запустить локально. Почти без потерь.
Unsloth выкатили динамические 1-бит GGUF. 715 ГБ сжали до ~170 ГБ. Работает стабильно.
DeepSeek-V3.1 теперь можно запускать локально
Раньше огромные модели вроде DeepSeek-V3.1 весом 715 ГБ были доступны только через серверные фермы. Теперь её удалось ужать до 170 ГБ почти без потерь в качестве, и запускать прямо на локальном компьютере.
Секрет в умной квантовке: важные слои остались «толстыми», а менее важные сильно сжали. Это позволяет модели работать стабильно, но занимать в 4 раза меньше места.
- Работает на 170 ГБ RAM
- Поддержка рассуждений и чат-шаблонов
- KV-квантовка для длинного контекста
- MoE-слои можно выгрузить в RAM
- Подходит для Ollama и локального запуска
Теперь реально собрать набор небольших моделей под разные задачи вместо одной «монструозной», которая делает всё плохо и медленно.
Если не хотите париться с запуском на локальном железе, DeepSeek-V3.1 уже доступен на Uma Ai.