Lens научили отвечать на вопросы о движущихся объектах

[TechnoLab]

Google обновил приложение с функциями дополненной реальности Lens, добавив ответы на вопросы касательно движущейся окружающей среды.

Over the years, we’ve expanded Search so you can ask a question in many ways — from typing a query to humming a tune.

Today, we're introducing even more new AI-powered ways to search what you see and hear. Learn more ↓ https://t.co/MHZCqo1ujX

— Google (@Google) October 3, 2024

Пользователи продукта на Android и iOS могут снимать видео и задавать вопросы об интересующих объектах. Lens использует ИИ-модель Gemini для понимания контекста.

«Допустим, вы хотите узнать больше о какой-то интересной рыбе. Lens подготовит обзор, объясняющий, почему они плавают по кругу, а также предоставит дополнительные ресурсы и полезную информацию», — отметил директор по продукту в компании Лу Ванг.

После озвучивания вопроса во время записи видео Lens предоставит ответ. Данные: Google.

Экспериментальная функция представлена на английском языке. Для доступа к ней нужно зарегистрироваться в программе Google Search Labs и активировать «AI Overviews and more».


Искусственный интеллект используется для понимания того, какие объекты в кадре наиболее интересны, значимы и соответствуют заданному вопросу.


Помимо видео можно использовать поиск информации с помощью изображения. Для этого нужно сделать снимок и задать вопрос голосом.


Также Lens улучшен в области электронной коммерции. Приложение способно распознавать продукт на фотографии и предоставлять информацию о нем: цену, бренд, отзывы, наличие запасов.

Поиск рюкзака с помощью Lens. Данные: Google.

«Допустим, вы увидели рюкзак, и он вам понравился. Вы можете использовать Lens, чтобы идентифицировать этот продукт и мгновенно увидеть детали, которые вас заинтересуют», — отметил Ван.

Тем временем один из руководителей проекта для генерации видео Sora ушел из OpenAI и присоединился к DeepMind — ИИ-подразделению Google.

I will be joining @GoogleDeepMind to work on video generation and world simulators! Can't wait to collaborate with such a talented team.

I had an amazing two years at OpenAI making Sora. Thank you to all the passionate and kind people I worked with. Excited for the next chapter!

— Tim Brooks (@_tim_brooks) October 3, 2024

В течение последних нескольких месяцев от разработчика ChatGPT ушел ряд ключевых сотрудников. Это произошло на фоне сообщений о желании Сэма Альтмана изменить корпоративную структуру компании.


Напомним, СМИ узнали о работе Google над «думающим» искусственным интеллектом.


В середине сентября ИИ-стартап OpenAI представил новую большую языковую модель o1, обученную методом с подкреплением для выполнения сложных рассуждений.