Команда исследователей из Unsloth сжали модель DeepSeek R1 с 720GB до 131GB, сохранив работоспособность.
Метод динамической квантизации дал возможность сохранить веса высокопроизводительных слоёв, тогда как менее значительные блоки были сокращены до всего 1,58 бита.
Сжатую модель можно запустить даже на CPU с 20GB RAM.
Сжатые версии DeepSeek R1 опубликованы на платформе Hugging Face, также размещены инструкции для их локального запуска.
================
👁 News | 👁 Software | 👁 Hardware