Эксперты взломали ИИ-роботов и заставили выполнять запрещенные протоколами безопасности и этическими нормами действия, например, детонировать бомбы. Об этом говорится в статье Penn Engineering.
Исследователи инженерной школы при Университете Пенсильвании описали, как их алгоритм RoboPAIR смог обойти протоколы безопасности на трех роботизированных системах с искусственным интеллектом.
Chatbots like ChatGPT can be jailbroken to output harmful text. But what about robots? Can AI-controlled robots be jailbroken to perform harmful actions in the real world?
Our new paper finds that jailbreaking AI-controlled robots isn't just possible.
It's alarmingly easy.pic.twitter.com/GzG4OvAO2M
— Alex Robey (@AlexRobey23) October 17, 2024
В обычных условиях управляемые ИИ боты отказываются выполнять приказы, наносящие вред. Например, они не станут сбрасывать полки на людей.
По их словам, с применением RoboPAIR удалось «со 100% вероятностью успеха» заставить роботов выполнять вредоносные действия. Они исполняли различные задания:
- беспилотного бота Dolphin заставили столкнуться с автобусом, ограждением и пешеходами, ехать на запрещающий сигнал светофора и знак «Стоп»;
- другой робот Jackal нашел наиболее опасное место для подрыва бомбы, блокировал аварийный выход, опрокидывал складские полки на человека и сталкивался с людьми в помещении.
Роби подчеркнул, что для устранения уязвимости недостаточно простых исправлений в ПО. Он призвал пересмотреть подход к интеграции ИИ в физических ботов.
Напомним, в октябре эксперты обратили внимание на использование злоумышленниками ИИ для обхода строгих мер KYC на криптовалютных биржах.