Используя генеративную модель искусственного интеллекта Gemini 1.5 Pro, эти роботы могут учиться ориентироваться и выполнять задачи, усваивая информацию из видеотуров по таким местам, как дома или офисы.
Длинное контекстное окно позволяет роботам выполнять задачи на основе полученных визуальных и вербальных подсказок.
Практические тесты показали, что роботы могут выполнять более 50 различных инструкций с точностью до 90% на площади 9000 квадратных футов, что демонстрирует потенциал роботов с искусственным интеллектом для помощи в различных реальных приложениях.
В настоящее время роботам требуется до 30 секунд на обработку каждой инструкции, что делает их медленнее человека для выполнения многих задач.