Компания OpenAI поделилась планами по устранению недостатков ChatGPT при работе с «чувствительными ситуациями». Поводом стал иск от семьи, обвинившей чат-бот в трагедии, которая случилась с их сыном.
Сотрудники фирмы сообщили, что в ChatGPT встроен комплекс многоуровневых защитных механизмов на случай общения с уязвимым человеком. С 2023 года модели обучены не предоставлять инструкции по причинению вреда самому себе. Также они способны переходить на поддерживающую, сочувствующую речь.
Если человек высказывает суицидальные мысли, ChatGPT обучен направлять его к профессиональной помощи. Компания сотрудничает с 90 врачами из более чем 30 стран — психиатрами, педиатрами и терапевтами.
GPT-5 показал заметный прогресс в области предотвращения нездоровой эмоциональной зависимости, снижении льстивости и уменьшении доли неидеальных ответов в кризисах психического здоровья, подчеркнули в OpenAI.
Однако, несмотря на все защитные меры, ИИ-системы компании иногда давали сбой. В связи с этим она работает над:
- улучшением защиты в длинных разговорах;
- уточнением правил блокировки контента;
- расширением помощи для большего числа людей, находящихся в кризисном периоде;
- упрощением обращений в экстренные службы;
- обеспечением связи с доверенными контактами;
- усилением защиты подростков.
26 августа родители 16-летнего Адама Рейна подали против OpenAI иск в суд после его гибели. Они утверждают, что «ChatGPT активно помогал Адаму изучать методы суицида».
Это не единичный случай. Ранее писательница Лаура Рейли опубликовала эссе, где рассказала, что ее 29-летняя дочь ушла из жизни «после длительного обсуждения этого с ChatGPT».
Напомним, в декабре 2024 года в России создали виртуального ассистента на базе ИИ для психологов, который в два раза повышает продуктивность, качество услуг и выручку.