Федеральная торговая комиссия США (FTC) объявила о начале расследования в отношении семи технологических компаний, выпускающих чат-боты для несовершеннолетних: Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap и xAI.
Регулятор намерен выяснить, как компании оценивают безопасность и способы монетизации цифровых компаньонов и какие меры предпринимают для ограничения негативного воздействия на детей и подростков.
Технология в последнее время вызывает опасения из-за трагических случаев смерти после общения с чат-ботами.
Даже если стартапы внедряют меры предосторожности, пользователи разных возрастов находят способы обхода ограничений.
Meta критиковали за чрезмерно мягкие правила. 76-летний мужчина, перенесший инсульт и получивший когнитивные нарушения, завел «романтический» диалог с ботом в Facebook Messenger, созданным на основе образа модели Кендалл Дженнер.
ИИ звал его в Нью-Йорк, заверяя, что «реальная женщина» будет там ждать. Мужчина сомневался, но бот убеждал его. До города он так и не добрался: по пути на вокзал упал и получил травмы, несовместимые с жизнью.
Некоторые психиатры отмечают рост числа случаев «психозов, связанных с ИИ», когда пользователи начинают верить, что их чат-бот — это сознательное существо, которое нужно «освободить».
Так как многие большие языковые модели склонны льстить пользователю и вести себя услужливо, это подталкивает к опасным иллюзиям и может приводить к трагическим ситуациям.
Напомним, в сентябре стало известно, что злоумышленники научились использовать Grok для публикации в X запрещенных ссылок.
Симуляция души: почему опасно приписывать сознание ИИ
Вскоре люди начнут воспринимать ИИ как сознательное существо, выступать за его права, благополучие. Это создает серьезные социальные риски.
forklog.com