Anthropic обучил ИИ водить курсором, нажимать на кнопки и печатать текст

[TechnoLab]

ИИ-стартап Anthropic выпустил обновленную версию модели Claude 3.5 Sonnet, которая может взаимодействовать с компьютером как человек — водить курсором, нажимать на кнопки и печатать текст.

Introducing an upgraded Claude 3.5 Sonnet, and a new model, Claude 3.5 Haiku. We’re also introducing a new capability in beta: computer use.

Developers can now direct Claude to use computers the way people do—by looking at a screen, moving a cursor, clicking, and typing text. pic.twitter.com/ZlywNPVIJP

— Anthropic (@AnthropicAI) October 22, 2024

«Вместо создания специальных инструментов, помогающих Claude выполнять отдельные задачи, мы обучаем его общим компьютерным навыкам, позволяя использовать широкий спектр разработанных для людей стандартных решений и программ», — отметили в Anthropic.

Разработчики могут использовать эту возможность для автоматизации повторяющихся процессов, создания и тестирования ПО и выполнения других задач. Для этого создан API, который позволяет Claude воспринимать компьютерные интерфейсы и взаимодействовать с ними.


Функция экспериментальная, поэтому могут наблюдаться ошибки. Ее начали тестировать Asana, Canva, Cognition, DoorDash, Replit и The Browser Company.

«Некоторые действия, которые люди выполняют без особых усилий — прокрутка, перетаскивание, масштабирование — представляют для Claude определенные трудности», — предупредили представители ИИ-стартапа.

Также представлена новая ИИ-модель Claude 3.5 Haiku, которая выйдет в конце октября. По производительности она соответствует предыдущей флагманской нейросети компании Claude 3 Opus.

Сравнение Claude 3.5 Sonnet и Claude 3.5 Haiku по разным бенчмаркам с другими ИИ. Данные: Anthropic.

Компания сообщила об улучшении Claude 3.5 Sonnet в области программирования, приведя в качестве аргументов отзывы клиентов. В GitLab отметили более сильное рассуждение ИИ, что делает его «идеальным выбором» для поддержки многоэтапных процессов разработки ПО. Cognition и The Browser Company также дали хорошие оценки.


Программирование как сильную сторону отметили и для модели Claude 3.5 Haiku. Она набирает 40,6% на SWE-bench Verified, опережая многих конкурентов.


Напомним, в октябре ИИ-модель GPT-4o от OpenAI набрала наивысший балл в рейтинге по программированию на языке Solidity, обойдя o1-preview, o1-mini и конкурентов.