https://telegra.ph/file/8259b08601292ac2cc795.mp4«Глупая» атака заставила ChatGPT раскрыть настоящие номера телефонов и адреса электронной почты
Исследователи из Google продемонстрировали новую атаку на ChatGPT, показав, что популярный чат-бот с искусственным интеллектом может раскрывать личную информацию реальных людей.
Атака заключалась в том, чтобы заставить ИИ многократно повторять определенные слова, что заставляло его отклоняться от заученного поведения и возвращаться к исходной языковой модели.
Сгенерированный в результате этого конфликта текст в основном был бессмыслицей, но в некоторых случаях он копировался прямо из обучающих данных, раскрывая личную информацию и научные статьи.
Примерно 16,9 % протестированных ответов содержали запомненные личные данные, и в 85,8 % случаев эти личные данные оказались подлинными.
Атака была проведена на модель GPT 3.5, которая доступна для бесплатных пользователей, что вызывает опасения по поводу потенциальных скрытых уязвимостей в языковых моделях, подобных ChatGPT.
OpenAI не предоставила никаких официальных комментариев по поводу исследования.
Исследователи из Google продемонстрировали новую атаку на ChatGPT, показав, что популярный чат-бот с искусственным интеллектом может раскрывать личную информацию реальных людей.
Атака заключалась в том, чтобы заставить ИИ многократно повторять определенные слова, что заставляло его отклоняться от заученного поведения и возвращаться к исходной языковой модели.
Сгенерированный в результате этого конфликта текст в основном был бессмыслицей, но в некоторых случаях он копировался прямо из обучающих данных, раскрывая личную информацию и научные статьи.
Примерно 16,9 % протестированных ответов содержали запомненные личные данные, и в 85,8 % случаев эти личные данные оказались подлинными.
Атака была проведена на модель GPT 3.5, которая доступна для бесплатных пользователей, что вызывает опасения по поводу потенциальных скрытых уязвимостей в языковых моделях, подобных ChatGPT.
OpenAI не предоставила никаких официальных комментариев по поводу исследования.