США необходимо ужесточить подход к регулированию искусственного интеллекта и перейти от режима раскрытия информации к обязательным проверкам безопасности наиболее мощных ИИ-моделей. Такое предложение сделал CEO Anthropic Дарио Амодеи в своем эссе.
По его словам, пришло время перейти от прозрачности к более серьезному и обязательному регулированию ИИ. Вместе с эссе Anthropic представила два документа: Advanced AI Framework о надзоре за фронтирными моделями и Economic Policy Framework о подготовке экономики к возможному вытеснению работников ИИ.
Внешние проверки и право на блокировку
Амодеи предложил ввести обязательное тестирование для моделей, которые превышают определенный порог по вычислительным ресурсам. В рамке Anthropic речь идет о системах, обученных с использованием более 10²⁵ операций с плавающей точкой, если разработчик зарабатывает более $500 млн в год на ИИ или тратит свыше $1 млрд на исследования и разработки в этой сфере.
Проверки, по его замыслу, должна проводить квалифицированная внешняя организация. Тестирование должно покрывать четыре категории рисков:
- кибербезопасность;
- создание биологического оружия;
- потерю контроля над ИИ-системами;
- автоматизированные исследования и разработки, которые могут ускорить эти угрозы.
Если оценка показывает неприемлемый риск, власти должны получить право блокировать запуск или сдерживать развертывание модели.
Амодеи сравнил предлагаемый режим с надзором в сфере авицации:
Отдельно предлагается обязать разработчиков защищать веса моделей и инфраструктуру обучения, регулярно проводить проверки безопасности, публиковать отчеты о рисках и оперативно сообщать о серьезных инцидентах.
Рынок труда: от переобучения до базового дохода
В эссе Амодеи предупредил, что ИИ может вызвать более масштабные и более длительные сбои на рынке труда, чем прошлые технологические сдвиги. Вероятны три сценария: безработице около 5%, 10% и беспрецедентный уровень.
Среди возможных мер он перечислил улучшенный сбор данных о вытеснении работников, стимулы для сохранения занятости, программы переобучения и, при более тяжелом сценарии, долгосрочную поддержку доходов, включая безусловный базовый доход.
Согласно документу компании, Anthropic направит $200 млн в Economic Futures Research Fund на исследования и оценку экономической политики, а также создаст национальную программу стипендий на $150 млн для специалистов ранней карьеры.
Гражданские свободы
Отдельный раздел эссе Амодеи посвятил гражданским свободам. Он предложил закрепить правила подотчетности для полностью автономного оружия, запретить его применение внутри США и закрыть лазейку с покупкой данных у брокеров для массового надзора.
Еще одна идея — обеспечить гражданам доступ к ИИ, не уступающему тому, который государство использует против них в регуляторных или судебных процедурах. По мнению Амодеи, без такого баланса ИИ может усилить преимущество властей.
Эссе вышло на следующий день после запуска Claude Fable 5 и Claude Mythos 5. Anthropic назвала Fable 5 самой мощной из своих общедоступных моделей, а Mythos 5 — версией той же базовой модели с ослабленными ограничениями в отдельных областях для ограниченного круга партнеров Project Glasswing.
Fable 5 и Mythos 5 — детали и бенчмарки новых моделей Claude от Anthropic - ForkLog
9 июня Anthropic выпустила две версии одного семейства моделей Claude. Fable 5 компания описывает как решение класса Mythos, но безопасную для общего
forklog.com
Напомним, в июне члены команды Anthropic увидели признаки приближения к рекурсивному самосовершенствованию ИИ. В компании допустили, что обществу может понадобиться механизм замедления разработки передовых моделей, чтобы институты и исследования безопасности успевали за прогрессом.