ИИ терпит поражение в бенчмарке по чтению времениПредставлен бенчмарк, в котором ИИ разгромно проигрывают человеку — ClockBench, где необходимо читать время с часов со стрелками.
️Лучший результат среди ИИ показала модель Gemini 2.5 Pro справилась лишь с 13,3% вопросов, в то время как люди демонстрировали результат — 89,1% правильных ответов.
Исследование охватило 36 типов циферблатов и 5 различных положений стрелок, что в итоге привело к 720 вопросам.
Основные задачи включали чтение времени, оценку его корректности и выполнение операций с ним.
Сложности у ИИ возникли на нестандартных цифербатах, таких как 24-часовые и с римскими цифрами.
Авторы исследования пришли к выводу, что искусственный интеллект нуждается в новых подходах для решения этой задачи, так как она требует развитых навыков визуального мышления.
================
👁 News | 👁 Soft | 👁 Gear |
Links