DeepSeek R1 теперь можно запустить на (относительно) доступном оборудованииКоманда исследователей из Unsloth сжали модель DeepSeek R1 с 720GB до 131GB, сохранив работоспособность.
Метод динамической квантизации дал возможность сохранить веса высокопроизводительных слоёв, тогда как менее значительные блоки были сокращены до всего 1,58 бита.
В процессе тестирования сжатой модели был разработан клон игры Flappy Bird, который получил высокую оценку 9 из 10. Сжатую модель можно запустить даже на CPU с 20GB RAM.
Сжатые версии DeepSeek R1 опубликованы на платформе Hugging Face, также размещены инструкции для их локального запуска.
================
👁 News | 👁 Software | 👁 Hardware