🎬 ☝🏻DeepSeek R1 теперь можно запустить на (относительно) доступном оборудовании Кома...

[IT Boroda]

DeepSeek R1 теперь можно запустить на (относительно) доступном оборудовании

Команда исследователей из Unsloth сжали модель DeepSeek R1 с 720GB до 131GB, сохранив работоспособность.

Метод динамической квантизации дал возможность сохранить веса высокопроизводительных слоёв, тогда как менее значительные блоки были сокращены до всего 1,58 бита.

В процессе тестирования сжатой модели был разработан клон игры Flappy Bird, который получил высокую оценку 9 из 10.

Сжатую модель можно запустить даже на CPU с 20GB RAM.

Сжатые версии DeepSeek R1 опубликованы на платформе Hugging Face, также размещены инструкции для их локального запуска.
================
👁 News | 👁 Software | 👁 Hardware