ИИ-модель GPT-4o от OpenAI набрала наивысший балл в рейтинге по программированию на языке Solidity, обойдя o1-preview, o1-mini и конкурентов. Об этом свидетельствуют данные исследования BrainDAO.
Рейтинг ИИ-моделей в выполнении заданий по программированию на Solidity. Данные: Hugging Face.
В пятерке лидеров:
- GPT-4o — 80,05 балла;
- o1-preview — 77,61;
- o1-mini — 75,08;
- Claude 3.5 — 74,88;
- Grok-2 — 74,64.
Для анализа и составления рейтинга SolidityBench применялись два бенчмарка NaïveJudge и HumanEval, разработанных для оценки и ранжирования мастерства ИИ-моделей в генерации кода для смарт-контрактов.
Код от нейросетей оценивался на основе «строгих критериев» вроде реализации ключевых функций, обработки крайних случаев, работы с ошибками, правильного использования синтаксиса, общей структуры и поддерживаемость. Также анализировалась эффективность использования газа и управление хранением.
Диапазон баллов варьируется от 0 до 100, обеспечивая комплексную оценку функциональности, безопасности и эффективности.
Ранее Meta разработала ИИ-инструмент CodeCompose для генерации программного кода.
Напомним, в сентябре Google выпустила две обновленные версии моделей Gemini 1.5, которые продемонстрировали улучшения в работе с языками программирования.