Альянс роботов. Второй день конференции GTC 2024

[TechnoLab]

• Nvidia представила мультимодальный ИИ, разработанный специально для андроидов.
• Анонсирована новая модель вычислительной платформы Jetson.
• Производители роботов объявили о партнерстве.

Проходящая в Сан-Хосе конференция GTC 2024 почти полностью посвящена искусственному интеллекту. Но 19 марта компания Nvidia также анонсировала несколько важных продуктов в области робототехники.

Я есть GR00T​

Компания представила проект GR00T (Generalist Robot 00 Technology) — мультимодальный искусственный интеллект, разработанный специально для андроидов.


Менеджер по исследованиям и руководитель направления воплощенного ИИ в Nvidia Джим Фан написал, что благодаря GR00T роботы смогут понимать инструкции через язык, видео и наблюдение за человеком для выполнения различных задач.

Today is the beginning of our moonshot to solve embodied AGI in the physical world. I’m so excited to announce Project GR00T, our new initiative to create a general-purpose foundation model for humanoid robot learning.

The GR00T model will enable a robot to understand multimodal… pic.twitter.com/EqN19Z3cXH

— Jim Fan (@DrJimFan) March 18, 2024

По словам CEO Nvidia Дженсена Хуанга, GR00T позволит роботам обучаться координации и сложным движениям, адаптироваться к происходящему вокруг и взаимодействовать с реальным миром. Во время выступления глава компании продемонстрировал несколько андроидов, оснащенных GR00T и выполняющих различные задачи.

Демонстрация андроидов с GR00T. Данные: Nvidia.

На время тестов ИИ-продукт доступен только для некоторых компаний-партнеров, включая 1X Technologies, Agility Robotics, Apptronik, Boston Dynamics, Figure AI, Fourier Intelligence, Sanctuary AI, Unitree Robotics и XPENG Robotics.

«Создание базовых моделей для человекоподобных роботов — одна из самых захватывающих проблем в области ИИ на сегодняшний день. Ведущие исследователи всего мира объединяются, чтобы совершить гигантский скачок на пути к робототехнике общего назначения», — заявил Хуанг.

На данный момент подробности о внутренней архитектуре GR00T неизвестны. Аппаратная часть функционирует благодаря новой вычислительной платформе Jetson Thor.

Пополнение в семействе Jetson​

Jetson Thor способна выполнять сложные задачи по взаимодействию между людьми и машинами. Платформа основана на чипе Thor SoC и включает в себя новейший графический процессор Nvidia Blackwell.


Производительность GPU системы в восемь раз выше, чем у предыдущей версии Jetson Orin.


Функционирующий благодаря Thor продукт GR00T разработан с помощью инструментов Isaac Robotic Platform от Nvidia, включая новую лабораторию Isaac Lab для обучения с подкреплением.


Isaac Manipulator предлагает библиотеки, помогающие производителям роботов-манипуляторов добавить в продукты новые движения и увеличить их ловкость. Они включают модели для обнаружения и отслеживания объектов, оценки их 6D-положения и создания точных прогнозов для взаимодействия с окружающей средой.


Isaac Perceptor помогает справляться с задачами управления андроидами в неструктурированной обстановке. Для трехмерного восприятия и объемного зрения используются многокамерный обзор на 360 градусов и ускоренные алгоритмы искусственного интеллекта.

Exciting news from #GTC24! NVIDIA Isaac is revolutionizing robotics in manufacturing & logistics. With #GenAI & advanced simulation, NVIDIA Isaac is accelerating AI-enabled robots. Check out the new foundation models, robot learning framework, & more. https://t.co/nteaW1K5tl pic.twitter.com/4xzpUakpfe

— NVIDIA Robotics (@NVIDIARobotics) March 18, 2024

«Захватывающие новости с GTC24! Nvidia Isaac совершает революцию в робототехнике! Благодаря GenAI и передовому моделированию Nvidia Isaac ускоряет роботов с ИИ-поддержкой. Посмотрите на новые базовые модели, систему обучения роботов и многое другое», — сообщило подразделение робототехники компании.

19 марта также стало известно о появлении альянса в сфере робототехники.

Роботы вступают в Альянс​

Open Source Robotics Foundation запустила Open Source Robotics Alliance (OSRA).

We are pleased to announce our partnership with @OpenRoboticsOrg in launching the Open Source Robotics Alliance. By joining forces with Open Robotics, #NVIDIA will continue to bring accelerated computing and #AI to open-source #robotics.

Learn more: https://t.co/9XfX6gvtuO pic.twitter.com/qgCDCRtY2B

— NVIDIA Robotics (@NVIDIARobotics) March 19, 2024

«Мы рады объявить о нашем сотрудничестве с OpenRoboticsOrg в создании Альянса робототехники с открытым исходным кодом. Объединив усилия с Open Robotics, мы продолжим внедрять ускоренные вычисления и ИИ в робототехнику с открытым исходным кодом», — говорится в сообщении.

Компания стала первым платиновым членом OSRA. В таком же статусе к альянсу присоединились Intrinsic и Qualcomm.


Напомним, во время первого дня конференции GTC 2024 Nvidia анонсировала новое поколение ИИ-чипов и программное обеспечение для работы с большими языковыми моделями.