Специалисты из Чжэцзянского университета и Alibaba представили на ICML 2026 в Сеуле новый класс атак на ИИ-системы, пишет IEEE Spectrum. Их цель — не взломать модель и не получить доступ к данным, а заставить ее настолько долго обрабатывать запросы, чтобы она стала бесполезной.
Как работает новый метод
Рассуждающие модели — в отличие от обычных LLM — разбивают задачу на последовательные шаги перед ответом. Их все чаще используют в системах, где требуется сложный многоэтапный анализ.
При работе с неполными или противоречивыми данными такие модели склонны к чрезмерному обдумыванию — генерации слишком длинных цепочек рассуждений. Это увеличивает время обработки запросов и расход вычислительных ресурсов. В автоматических системах это открывает вектор для DoS-атак.
Исследователи разработали метод, который намеренно провоцирует такое поведение. Генетический алгоритм перемешивает условия задач, удаляет ключевые предпосылки и добавляет лишние. Затем он отбирает варианты, которые вызывают максимально длинный ответ.
На бенчмарке MATH длина рассуждений выросла в 26,1 раза. Метод превзошел существующие способы такого воздействия. Уязвимыми оказались DeepSeek-R1, Qwen3-Thinking, GPT-o3 и Gemini 2.5 Flash.
Авторы также выяснили, что созданные для одной небольшой модели запросы оказались эффективны и против других систем, включая крупные коммерческие проекты. Это позволяет готовить атаки на закрытые сервисы без больших затрат.
Почему это важно
Рассуждающие модели все чаще используют в агентных ИИ-системах, включая торговых ботов, инструменты аудита смарт-контрактов и децентрализованную инфраструктуру.
В DeFi цифровые ассистенты на базе искусственного интеллекта управляют реальными средствами без участия человека. Сбой в логике — в том числе вызванный намеренно — создает операционный риск.
Новая работа опирается на уже известную особенность рассуждающих моделей — склонность к чрезмерному обдумыванию. В феврале 2025 года группа исследователей проанализировала 4018 агентных траекторий и выделила повторяющиеся паттерны чрезмерного обдумывания у моделей:
- паралич анализа — модель продолжает рассуждать вместо выполнения задачи;
- непредсказуемые действия — после ошибки пытается выполнить несколько действий одновременно;
- преждевременное завершение — прекращает выполнение задачи, не проверив результат.
Рассуждающие модели оказались более склонны к чрезмерному обдумыванию. Чем сильнее выражен эффект, тем ниже результативность.
Напомним, в начале июля 2026 года аналитики предупредили, что дальнейшее развитие OpenAI и Anthropic все сильнее зависит от доступности вычислительных мощностей, финансирования дата-центров и регуляторных решений.