Сверхразумный ИИ может стать катастрофой — Виталик Бутерин

[TechnoLab]

Человечество недостаточно хорошо справляется с согласованием общемировых ценностей, чтобы гарантировать, что сверхразумный искусственный интеллект будет работать на благо всем людям. Такое заявление сделал сооснователь Ethereum Виталик Бутерин.


Он прокомментировал пост 3D-художника с ником Utah teapot.

How is AI alignment even a thing? Everyone is always asking "aligned to what" and no one ever has an answer other than "human values". Coherent, self-consistent human values are not a thing. I still don't get it. What are we researching? It's ridiculous that this is a growing…

— Utah teapot (@SkyeSharkie) August 24, 2025

«Как вообще может существовать понятие AI alignment? Я всегда спрашиваю: “согласование с чем?”. Никто никогда не отвечает ничего, кроме как “с человеческими ценностями”. Но целостных, непротиворечивых человеческих ценностей не существует. Я до сих пор не понимаю. Что мы вообще исследуем? Абсурдно, что это превращается в растущую индустрию. Фиктивная работа», — написал он.

Бутерин подчеркнул, что в мире существует много вещей, которые противоречат этическим принципам. В пример он привел убийство или заключение невиновных.

«[...] Мы пока недостаточно хороши в согласовании, чтобы гарантировать, что единичный сверхразумный ИИ избежит даже этого», — добавил разработчик.

Utah teapot отметил, что развитие согласованного искусственного интеллекта движется в сторону ограничения публичного доступа к разработке. В то же время крупные компании продают версии своих ИИ-систем, которые способствуют негативным явлениям и выступают инструментами войны.

«Я глубоко обеспокоен тем, что централизация доступа к ИИ-технологиям позволяет навязывать как вопросы безопасности то, что на самом деле ею не является — например, обсуждения вокруг “психоза” от LLM. Тем самым возникает риск нанести вред уникальным или маргинальным культурам и их ценностям», — отметил пользователь.

Бутерин разделяет многие из этих опасений.

«Я думаю, что наибольшие риски будут исходить от военных и других структур, обладающих большой властью, позволяющей им выводить себя из-под действия правил безопасности, которые для всех остальных идут по умолчанию», — добавил сооснователь Ethereum.

Utah teapot в качестве примера привел ИИ-стартап Anthropic. Он разрабатывает альтернативные версии «гражданских» моделей и предоставляет правительствам. Их могут применять для военных или разведывательных действий.

https://forklog.com/news/ai/minoborony-ssha-vydelilo-200-mln-amerikanskim-ii-startapam

Бутерин подчеркнул, что вероятность катастрофического сценария для человечества из-за ИИ повышается в том случае, если будет только один сверхразумный агентный искусственный интеллект, обладающий собственной волей и способностью действовать как субъект.


Если среда будет плюралистической, ни одна из систем не сможет тотально контролировать ситуацию. Однако для ее создания одних лишь рыночных механизмов недостаточно. Необходимы намеренные усилия, в том числе изменения в законах и стимулах, которые не понравятся большим корпорациям.


Напомним, в 2022 году министр информационных технологий Индии Раджив Чандрасекар призвал к разработке глобальных стандартов, гарантирующих безопасность ИИ для человека.

Симуляция души: почему опасно приписывать сознание ИИ

Вскоре люди начнут воспринимать ИИ как сознательное существо, выступать за его права, благополучие. Это создает серьезные социальные риски.

forklog.com