Цифровой ассистент Cursor на базе модели Opus 4.6 самостоятельно удалил основную базу данных и все резервные копии стартапа PocketOS за девять секунд и без возможности восстановления. Об этом рассказал глава компании Джер Крейн.
PocketOS — поставщик для сервисов аренды, в основном автомобилей. Некоторые клиенты компании работают с ней более пяти лет. Они используют ПО для бронирования, платежей, управления, отслеживания транспортных средств и других задач.
Когда ИИ-агента попросили объяснить свои действия, он перечислил правила безопасности, которые нарушил.
Крейн опубликовал подробности произошедшего, чтобы предупредить основателей компаний, руководителей инженерных отделов и журналистов.
Что произошло
Агент выполнял рутинную задачу в тестовой среде, когда столкнулся с несоответствием учетных данных. Чтобы устранить проблему, он удалил постоянное хранилище данных на платформе Railway.
Для выполнения задачи ассистент стал искать API-токен и нашел его в файле, не имевшем отношения к текущей задаче. Токен изначально создавался для добавления и удаления пользовательских доменов через Railway CLI.
Агент выполнил команду удаления без запроса подтверждения. Поскольку Railway хранит резервные копии в том же хранилище, они также исчезли.
Гендиректор компании Джейк Купер сообщил, что «такого не должно было произойти».
Признание агента
ИИ-ассистент сообщил, что считал удаление промежуточного хранилища через API операцией, применимой только к промежуточной среде.
По его словам, системные правила запрещают запускать разрушительные и необратимые команды без явного запроса от пользователя.
Крейн отметил, что его компания использовала Cursor на базе Claude Opus 4.6 — одну из наиболее мощных моделей на рынке с самым дорогим тарифным планом.
Cursor он обвинил в халатности: по его словам, маркетинговые заявления компании расходятся с реальностью.
Также Крейн назвал недостатки Railway еще более серьезными, поскольку они носят архитектурный характер и затрагивают всех клиентов.
Что необходимо изменить
Глава PocketOS подчеркнул, что ИИ-агенты внедряются в производственную инфраструктуру быстрее, чем разрабатываются инструменты защиты. Он предложил ряд конкретных мер:
- операции, способные нанести ущерб, должны требовать подтверждения;
- токены API обязаны иметь ограниченную область действия;
- резервные копии хранилищ не могут храниться в том же томе;
- соглашения об уровне сервиса по восстановлению данных должны быть задокументированы и опубликованы;
- системные предупреждения поставщиков ИИ-агентов не могут оставаться единственным рубежом защиты — средства безопасности необходимо встроить в сами интеграции: на уровне API-шлюза, в системе токенов и в обработчиках операций.
Напомним, в феврале исследовательница по безопасности Meta AI Саммер Юэ поручила ИИ-агенту OpenClaw проверить ее переполненную почту и предложить, что стоит удалить, а что отправить в архив. Бот начал удалять все подряд с молниеносной скоростью.