Компания по кибербезопасности OpenZeppelin провела аудит нового ИИ-бенчмарка EVMbench от OpenAI. Эксперты выявили методологические ошибки и «загрязнение» данных.
Разработчик ChatGPT запустил EVMbench в середине февраля в партнерстве с инвестфондом Paradigm для оценки способности ИИ-агентов находить, исправлять и эксплуатировать уязвимости в смарт-контрактах.
Специалисты OpenZeppelin приветствовали инициативу, но решили проверить разработку по тем же стандартам, что и защищаемые протоколы (включая Aave, Lido и Uniswap).
Ключевые недостатки
Главная проблема связана с «загрязнением» тренировочных данных. EVMbench построен на подборке из 120 уязвимостей, выявленных в ходе аудитов 2024-2025 годов.
Однако ведущие модели, проходившие тестирование, имеют срез знаний до августа 2025 года. Модели могли «вспоминать» сведения об этих уязвимостях из обучающих данных. Даже при отключенном интернете это ставит под сомнение чистоту эксперимента: неизвестно, способен ли ИИ выявлять действительно новые угрозы.
В OpenZeppelin также указали на фактические ошибки в наборе данных EVMbench. Как минимум четыре уязвимости из категории «высокого риска» оказались неработоспособными. При этом ИИ-агенты получали правильные баллы за якобы верное обнаружение этих проблем.
Специалисты подтвердили, что искусственный интеллект сыграет ключевую роль в будущем безопасности блокчейнов. Однако они предупредили: спешка с внедрением не должна идти в ущерб качеству данных и тестов.
Напомним, в ноябре эксперты Microsoft представили среду для тестирования ИИ-агентов и выявили уязвимости, присущие современным цифровым помощникам.
Главное за месяц: безнадежный февраль, страхи инвесторов и лучшие лонги - ForkLog: криптовалюты, ИИ, сингулярность, будущее
В новом дайджесте разобрали, чего боятся инвесторы, проанализировали динамику активов за месяц и узнали, как живется майнерам.
forklog.com