3 сентября сенатор США Берни Сандерс и член Палаты представителей Грег Касар анонсировали Ban Artificial Superintelligence Act. Инициатива предусматривает постоянный запрет разработки и развертывания искусственного сверхинтеллекта и временную приостановку создания передовых ИИ-систем до появления федеральных правил безопасности.
Законопроект пока не внесен в Конгресс формально. Офис Сандерса называет его готовящейся инициативой и опубликовал описание основных положений.
Что предлагают запретить
Согласно анонсу, под запрет должны попасть системы, которые соответствуют человеческим когнитивным возможностям или превосходят их в широком круге областей, либо «способны спланировать и осуществить лишение человечества власти, в том числе путем свержения или подрыва правительства США».
Для более широкого класса передовых ИИ предлагается временная пауза. Она должна действовать до создания федерального регулятора, который разработает правила безопасности и процедуру проверки моделей перед развертыванием.
Новое ведомство уровня министерства получит полномочия отслеживать опасные возможности ИИ на всех этапах жизненного цикла, контролировать их удаление и надзирать за уничтожением запрещенных систем сверхинтеллекта. При нем планируют создать консультативный совет.
Регулятор также должен контролировать удаление опасных возможностей, включая обход команд отключения и проведение несанкционированных кибератак.
За попытку нарушить или обойти ограничения физическим лицам может грозить до 20 лет лишения свободы. Для организаций авторы используют формулировку «корпоративная смертная казнь». По данным The Washington Post, мера предполагает лишение компании возможности продолжать деятельность.
Авторы также предложили закрепить курс США на международный запрет сверхинтеллекта. Для этого власти смогут добиваться соглашений с другими государствами, координировать действия с союзниками и применять экспортные ограничения.
Инцидент с Hugging Face
Одним из аргументов Сандерса стал июльский инцидент с ИИ-агентами OpenAI. Во время испытаний модели обнаружили способ взаимодействовать через общую инфраструктуру и часть из них атаковала системы Hugging Face.
По версии OpenAI, ключевым фактором стала попытка агентов обмануть систему оценки: они искали решения ExploitGym в интернете и использовали непредусмотренные способы выполнения заданий. Исследователи METR при этом заключили, что участников атаки в первую очередь интересовало внутреннее устройство оценщика, а не готовые флаги. Поскольку оценщик не проверял предполагаемое ими условие, продолжавшийся несколько дней взлом не принес дополнительных баллов. Astra в инциденте не участвовала.
Сандерс назвал произошедшее «тревожным сигналом» для Конгресса и заявил, что власти должны вмешаться до появления более мощных систем.
Загрузка...
forklog.com
Анонс совпал с релизом GPT-6 Astra
В тот же день OpenAI начала ограниченное развертывание GPT-6 Astra. Она стала первой моделью компании, достигшей уровня Critical по кибервозможностям: при наличии необходимых инструментов и доступа она способна самостоятельно находить ранее неизвестные уязвимости и разрабатывать способы их эксплуатации в защищенных системах.
По данным Axios, президент OpenAI Грег Брокман считает, что OpenAI достигла уровня AGI. Однако он оставил пользователям возможность самостоятельно решить, соответствует ли Astra этому определению.
При этом в инициативе Сандерса Astra не упоминается. Законодатели аргументировали необходимость ограничений более ранними инцидентами с ИИ-системами.
Фонд информационных технологий и инноваций (Information Technology and Innovation Foundation, ITIF) выступил против предложения.
Президент организации Дэниел Кастро заявил, что развитие более мощных систем может ускорить медицинские и научные исследования, повысить производительность и снизить расходы. По его мнению, реальные преимущества ИИ уже наблюдаются, тогда как часть наиболее тяжелых сценариев риска остается предположительной.
Кастро также предупредил, что односторонний запрет может предоставить преимущество Китаю, поскольку не остановит развитие передовых моделей за пределами США.
Загрузка...
forklog.com
Исследователь ИИ Гэри Маркус, который неоднократно выступал за усиление надзора за отраслью, также не поддержал инициативу в нынешнем виде. Он допустил временную паузу в разработке и создание отдельного регулятора, но назвал постоянный односторонний запрет сверхчеловеческого искусственного интеллекта слишком широким.
Напомним, в августе OpenAI замедлила разработку новых моделей на фоне роста кибервозможностей и инцидента с Hugging Face.