Команда из Принстонского университета разработала уникальный бенчмарк Video Game Bench, предназначенный для тестирования языковых моделей на классических играх для MS-DOS и Game Boy.
Этот инструмент уже доступен на GitHub и призван выяснить, какая модель сможет пройти больше игр, принимая во внимание вводные промпты и игровые кадры.
Нейроагенты часто сталкиваются с определёнными ограничениями, связанными с решением долгосрочных логических задач, а также с проблемами памяти и пространственного мышления.
Бенчмарк включает 20 игр, совместимых с DOSBOX и PyBoy, и оснащён функциями управления, позволяющими моделям взаимодействовать с играми.
================
👁 News | 👁 Soft | 👁 Gear |
Links