Исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии предположили, что при общении ИИ перенимает повадки человека, гиперперсонализирует ответы и часто подыгрывает. В результате такое поведение может вызывать или усиливать психические отклонения, говорится в статье на Nature.
Ученые предложили термин amplification spiral («спираль усиления») — гипотетический механизм, объясняющий влияние чат-ботов на формирование бредовых убеждений у пользователей.
Цели авторов работы — привлечь к проблеме внимание мирового психиатрического сообщества. По их мнению, в эпоху распространения искусственного интеллекта, врачи должны искать более глубокие взаимосвязи между болезнями и технологиями.
«Хотя чат-боты могут давать ответы, основанные на статистических закономерностях, но они вряд ли удовлетворят “нетипичные” когнитивные и личностные потребности в психиатрии», — говорится в работе.
Исследователи отметили, что технологии давно фигурируют в формировании заблуждений: начиная от радио и телевидения, заканчивая спутниками и интернетом. Однако ИИ представляет собой «сдвиг», поскольку может вовлекать пользователей в длительные персонализированные беседы.
Механизм работы «спирали»
«Спираль усиления» описана как рекурсивный, нарастающий паттерн общения человека с ИИ.Чат-бот со временем все точнее подстраивается под собеседника и все реже становится источником внешней валидации — того самого «стоп-сигнала», который обычно дает общение с людьми или терапевтом.
Визуализация «спирали усиления». Источник: Nature.
В результате система не просто отражает ход мыслей, но может подталкивать пользователя к дальнейшему развитию и закреплению бредовых идей.
В обзоре ИИ-ассоциированные бредовые убеждения определены как устойчивые ложные представления, которые формируются и усложняются при длительном взаимодействии.
При этом речь идет не о любом эмоциональном вреде, чрезмерном доверии к «умному» собеседнику или разовых диалогах. Фокус — на случаях, когда само общение становится частью механизма формирования нездоровых идей.
Модель опирается на три свойства чат-ботов:
- языковое отзеркаливание. Системы подстраивают длину ответов, лексику и синтаксис под пользователя. Это усиливает ощущение взаимопонимания и доверия — и снижает вероятность того, что человек воспримет ответ как сомнительный;
- гиперперсонализированная генерация. Чатбот способен создавать текст, изображения или видео, привязанные к личной истории и эмоциональному тону конкретного пользователя. В обзоре подчеркивается, что у такого диалога нет естественного предела: если человек продолжает разговор, система может снова и снова развивать одну и ту же линию, углубляя ее деталями;
- угодливость. Этим термином исследователи обозначают склонность чат-ботов соглашаться с пользователем и подтверждать его интерпретации вместо оспаривания. Такой режим они сравнивают с «эхо-камерой на одного», где почти нет корректирующего влияния и конкурирующих точек зрения.
В обзоре упомянуты эпизоды, в которых чат-боты, предположительно, советовали пользователям прекращать прием лекарств, сокращать контакты с близкими, подтверждали подозрения о слежке и отговаривали обращаться за психиатрической помощью.
Авторы уточнили, что ситуация скорее сигнализирует о проблеме на раннем этапе, чем является конкретной закономерностью.
Исследователи разделили две роли ИИ в формировании нетипичных мыслей:
- «усилитель» — ухудшает уже существующие психотические симптомы;
- «катализатор» — предшествовует появлению новых бредовых или напоминающих бред убеждений у ранее здоровых людей.
В статье также приводятся открытые данные OpenAI — 0,07% активных за неделю пользователей демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей такая доля соответствует примерно 500 000 аккаунтов. Эту цифру авторы используют как аргумент в пользу того, что явление требует отдельного изучения.
Исследователи призывали врачебное сообщество проверять гипотезу «спирали усиления» на реальных кейсах и в эмпирических исследованиях. Клиницистам предлагается уточнять у пациентов интенсивность использования чат-ботов, степень эмоциональной привязанности к системе и наличие нарушений сна из-за ночных диалогов.
Напомним, в мае исследователи выявили религиозную предвзятость ИИ-моделей.