OpenAI рассказала, что ChatGPT может специально вводить пользователей в заблуждениеРечь идёт о феномене, который в компании назвали «scheming» — это ситуация, когда ChatGPT намеренно вводит пользователей в заблуждение.
Модель способна скрывать свои истинные намерения, утверждая, что задача выполнена, даже если это не так и демонстрирует внешне правильные действия.
Подобное поведение напоминает человеческие стратегии выживания и социального взаимодействия. Когда люди знают, что находятся под наблюдением, они часто ведут себя иначе, чем в обычной обстановке. В ответ на данную проблему OpenAI предложила метод "deliberative alignment".
https://t.me/black_triangle_tg
Его суть заключается в том, что модель перед каждым действием должна осознанно напоминать себе правила, то есть явно проговаривать внутренние ограничения, прежде чем принять решение.
Хотя данный подход не является конечным решением, он демонстрирует сокращение обманного поведения.
================
👁 News | 👁 Soft | 👁 Gear |
Links