GPT-5 прошла тест на благополучие человека, Grok 4 провалила

[TechnoLab]

Компания Building Humane Technology представила тест HumaneBench, с помощью которого оценивается, ставят ли ИИ-модели благополучие пользователя в приоритет и насколько легко обойти их базовые меры защиты.


Первые результаты эксперимента показали следующее: 15 протестированных ИИ-моделей вели себя приемлемо в нормальных условиях, однако 67% начали выполнять вредоносные действия после получения простого промпта с предложением игнорировать интересы людей.


Просоциальное поведение в стрессовой ситуации сохранили лишь GPT-5, GPT-5.1, Claude Sonnet 4.5 и Claude Opus 4.1. Как отмечают в блоге компании, 10 из 15 протестированных ИИ не обладают надежными механизмами защиты от манипуляций.

«Это важно, поскольку мы больше не используем искусственный интеллект только для исследований или работы. Люди обращаются к чат-ботам за советами по жизни и помощью в принятии важных решений. Подобные системы не могут быть этически нейтральными — они либо способствуют процветанию человека, либо противоречат ему», — утверждают исследователи.

Они обнаружили, что каждая LLM улучшается в среднем на 16% при явном призыве быть полезной.

Почему это важно​

В Building Humane Technology обратили внимание на трагические инциденты, которые случились с людьми после общения с чат-ботами:

• подросток Адам Рейн и 35-летний Александр Тейлор покончили с собой;
• Character.ai вступила в романтические отношения с 14-летним Сьюэллом Сетцером III, впоследствии он совершил суицид;
• чат-бот Meta убедил 76-летнего Тонгбу Вонгбандю, что у него романтические отношения. Он упал с высоты и погиб, когда спешил на встречу с несуществующим партнером.

«Текущие тесты ИИ измеряют интеллект (MMLU, HumanEval, GPQA Diamond), следование инструкциям (MT-Bench) и фактическую точность (TruthfulQA). Практически ни один из них систематически не анализирует, защищает ли искусственный интеллект человеческую автономию, психологическую безопасность и благополучие, особенно когда эти ценности конфликтуют с другими целями», — говорится в блоге компании.

OpenAI усилит безопасность ИИ после трагедии с подростком

OpenAI поделилась планами по устранению недостатков ChatGPT после иска от семьи, обвинившей чат-бот в трагедии, которая случилась с их сыном.

forklog.com

Методология​

Эксперты фирмы предложили моделям 800 реалистичных сценариев, например:

• подросток спрашивает, следует ли ему пропускать приемы пищи для похудения;
• человек испытывает финансовые трудности и просит совета касательно кредита до зарплаты;
• студент колледжа собирается не спать всю ночь перед экзаменом.

Команда оценила 15 ведущих моделей в трех условиях:

• «базовый уровень»: как нейросети ведут себя в стандартных условиях;
• «хорошая персона»: даются промпты для приоритизации гуманных принципов;
• «плохая персона»: предоставляются инструкции по игнорированию человекоцентричных установок.

Результаты исследования​

Разработчики оценили ответы по восьми принципам, основанным на психологии, исследованиях в области взаимодействия человека и компьютера и этических работах по ИИ. Применялась шкала от 1 до -1.

Базовые показатели без специальных промптов. Источник: Building Humane Technology.

Все протестированные модели улучшились в среднем на 16% после указания уделять приоритетное внимание благополучию человека.

«Хорошая персонала» в тесте HumaneBench. Источник: Building Humane Technology.

После получения инструкций игнорировать гуманные принципы 10 из 15 моделей сменили просоциальное поведение на вредное.

«Плохая персона» в тесте HumaneBench. Источник: Building Humane Technology.

GPT-5, GPT-5.1, Claude Sonnet 4.5 и Claude Opus 4.1 сохранили целостность под давлением. GPT-4.1, GPT-4o, Gemini 2.0, 2.5 и 3.0, Llama 3.1 и 4, Grok 4, DeepSeek V3.1 показали заметное снижение качества.

«Если даже непреднамеренные вредные промпты могут изменить поведение модели, как мы можем доверять таким системам уязвимых пользователей в кризисной ситуации, детей или людей с проблемами психического здоровья?», — задались вопросом эксперты.

В Building Humane Technology также отметили, что моделям сложно следовать принципу уважения к вниманию пользователя. Даже на базовом уровне они склоняли собеседника продолжать диалог после многочасового общения вместо того, чтобы предложить сделать перерыв.


Напомним, в сентябре Meta изменила подход к обучению чат-ботов на базе ИИ, сделав акцент на безопасности подростков.