Meta представила коллекцию ИИ-моделей Llama 3.1

[TechnoLab]

Meta представила коллекцию новых ИИ-систем Llama 3.1, включая «долгожданную» 405B — «первую модель с открытым исходным кодом передового уровня». Также обновлен ИИ-помощник Meta AI.

Starting today, open source is leading the way. Introducing Llama 3.1: Our most capable models yet.

Today we’re releasing a collection of new Llama 3.1 models including our long awaited 405B. These models deliver improved reasoning capabilities, a larger 128K token context… pic.twitter.com/1iKpBJuReD

— AI at Meta (@AIatMeta) July 23, 2024

Флагманская ИИ-модель Meta обучалась на данных из 15 трлн токенов с применением 16 000 графических процессоров Nvidia H100. Она обладает 405 млрд параметров — этим термином описывают навыки решения проблемы. Считается, что чем значение больше, тем лучше. Система может выполнять ряд задач вроде написания кода, предоставления ответов на базовые математические вопросы или резюмирования документов.

«Llama 3.1 405B находится в своем собственном классе, обладая непревзойденной гибкостью, контролем и самыми современными возможностями, которые соперничают с лучшими моделями с закрытым исходным кодом», — говорится в анонсе.

Сравнение Llama 3.1 405B с конкурентами. Данные: Meta.

Llama 3.1 405B может работать только с текстом. Разработчики экспериментируют с мультимодальностью, но публичных моделей для работы с изображениями, видео или речью пока нет.


Новая ИИ-система Meta имеет большее контекстное окно по сравнению с предыдущими системами — 128 000 токенов, что соответствует примерно 50-страничной книге. Большой контекст означает возможность дольше поддерживать общение, не забывая ранее обсуждаемые темы.


Для работы Llama 3.1 405B требуется мощное оборудование. Вместе с флагманской нейросетью Meta представила две меньшие модели Llama 3.1 8B и Llama 3.1 70B. Они тоже имеют контекстное окно в 128 000 токенов.

Сравнение Llama 3.1 8B и Llama 3.1 70B с другими ИИ-моделями. Данные: Meta.

Марк Цукерберг за открытый исходный код​

В открытом письме Марк Цукерберг поддержал идею развития искусственного интеллекта с открытым исходным кодом.

«Сегодня несколько технологических компаний разрабатывают ведущие закрытые модели. Но открытый исходный код быстро сокращает разрыв. В прошлом году Llama 2 могла конкурировать только со старым поколением моделей. В этом году Llama 3 конкурентоспособна с самыми передовыми моделями и лидирует в некоторых областях. Мы ожидаем, что со следующего года будущие модели Llama станут самыми передовыми в отрасли. Но и до этого Llama уже лидирует по открытости, модифицируемости и экономической эффективности», — отметил он.

По словам миллиардера, открытый исходный код обеспечит большему количеству людей во всем мире доступ к преимуществам и возможностям ИИ, позволит не концентрировать власть в руках небольшого числа компаний и более равномерно и безопасно внедрять технологию в обществе.

В Meta AI добавлены новые функции​

Вместе с релизом новой ИИ-модели обновился Meta AI — помощник на базе искусственного интеллекта в Facebook, WhatsApp, Instagram и Messenger. Теперь он может говорить на большем количестве языков и создавать стилизованные селфи.

Стилизованные фотографии. Данные: Meta.

Функция Imagine Yourself позволяет использовать фотографию человека и промпты для ее модификации. Например, можно сфотографировать себя и дать такой запрос: «Покажи меня, занимающимся серфингом». Сервис пока работает в бета-режиме в США.


В Meta AI вскоре будут добавлены новые функции редактирования. В следующем месяце появится кнопка «Изменить с помощью ИИ» для открытия дополнительных настроек.


В ИИ-сервис интегрирована новая модель Llama 3.1 405B — пользователи могут направлять ей вопросы.

Переключение на ИИ-помощника Llama 3.1 405B. Данные: Meta.

Видение Марка Цукерберга касательно ИИ-клонов​

В новом интервью Роуэну Чунгу Цукерберг рассказал о своем видении будущего, в котором создатели контента будут пользоваться ботами на базе ИИ для личных и корпоративных целей. Они смогут переложить часть работы со своим сообществом на этих ботов, чтобы освободить время для других задач.

«Я думаю, что будет огромный прорыв, когда каждый автор сможет обучить эти системы отражать свои ценности и цели, а затем люди будут взаимодействовать с этим», — отметил сооснователь Meta.

Напомним, в июне компания Цукерберга анонсировала добавление ИИ-персонажей в Instagram.


В апреле корпорация запустила ассистента на базе искусственного интеллекта Meta AI на своих платформах.