Отдел робототехники DeepMind внедрил Gemini 1.5 Pro в робота, чтобы научить его перемещаться по офису и реагировать на команды.
В серии видеороликов команда ИИ-подразделения Google просит машину выполнить различные задачи. В одном из экспериментов тестировщик дал команду отвести его куда-нибудь, где можно рисовать. Дроид привел человека к доске с маркером.
В ходе другого теста роботу показали карту и попросили добраться до «Синей зоны». Он ненадолго задумался, после чего начал выполнять задание.
Для тестов дроида обучили ориентироваться в пространстве с помощью «мультимодальной навигации по инструкциям с демонстрационными турами». Он перемещается по офису и указывает речью на различные ориентиры. Например, робот может переместиться к розетке после просьбы зарядить телефон.
Команда на основании понимания окружающей среды научила ИИ рассуждать «в соответствии со здравым смыслом». Благодаря этому он может реагировать на письменные и нарисованные команды, а также жесты.
У дроида можно спросить, есть ли в наличии любимый напиток. Gemini знает, что нужно поехать к холодильнику, убедиться в наличии или отсутствии банок кока-колы и вернуться с ответом.
По данным Google, машина с ИИ показала около 90% успешных попыток взаимодействия с сотрудниками в более чем 50 тестах.
Ранее исследователи из Токийского университета научили робота управлять электромобилем.
В июле китайские ученые вырастили искусственный мозг и вживили в дроида.
Напомним, Илон Маск заявил, что роботы-гуманоиды Optimus доведут капитализацию Tesla до $25 трлн.