Microsoft запускает языковую модель Phi-4 в open-sourceРанее доступная исключительно через Azure Foundry, теперь она доступна на платформе Hugging Face.
Phi-4, обладающая внушительными 14 миллиардами параметров, была обучена на мощном кластере из 1920 графических процессоров Nvidia за рекордные 21 день.
Эта модель показывает выдающиеся результаты, превосходящие Llama 3.3 70B и GPT-4o Mini, особенно в области решения математических задач.
Авторы подчеркивают, что качественная база данных играет ключевую роль в достижении высоких показателей.
Модель использует архитектуру Transformer с декодерным вариантом для оптимизации обработки данных.
Для повышения качества вывода применялись передовые техники постобучения, включая оптимизацию предпочтений и супервизированное тонкое обучение.
================
👁 News | 👁 Software | 👁 Hardware
