В сети появилась LLaMA 3.1 размером 405B
Как показывают бенчмарки, Llama 3.1 превосходит GPT-4o в нескольких тестах, включая GSM8K, Hellaswag, boolq, MMLU-humanities, MMLU-other, MMLU-stem и winograd, среди прочих.
Однако он отстает в HumanEval и MMLU-social sciences.
Важно отметить, что эти цифры взяты из базовых моделей Llama 3.1. Чтобы полностью раскрыть потенциал модели, важна настройка инструкций. Многие из этих результатов могут улучшиться с выпуском версий Instruct моделей Llama 3.1.
Главное изменение, помимо улучшения качества, в версии 3.1 размер контекста увеличен до 128K вместо 8K.
Официального релиза от корпорации не было, модель распространяется в виде торрент файла на reddit (суммарный вес файлов 820гб):
Репозиторий huggingface: https://huggingface.co/v2ray/Llama-3.1-405B/tree/main
Как показывают бенчмарки, Llama 3.1 превосходит GPT-4o в нескольких тестах, включая GSM8K, Hellaswag, boolq, MMLU-humanities, MMLU-other, MMLU-stem и winograd, среди прочих.
Однако он отстает в HumanEval и MMLU-social sciences.
Важно отметить, что эти цифры взяты из базовых моделей Llama 3.1. Чтобы полностью раскрыть потенциал модели, важна настройка инструкций. Многие из этих результатов могут улучшиться с выпуском версий Instruct моделей Llama 3.1.Главное изменение, помимо улучшения качества, в версии 3.1 размер контекста увеличен до 128K вместо 8K.
Официального релиза от корпорации не было, модель распространяется в виде торрент файла на reddit (суммарный вес файлов 820гб): Репозиторий huggingface: https://huggingface.co/v2ray/Llama-3.1-405B/tree/main