«Все умрут»: эксперт описал риски сверхразумного ИИ

[TechnoLab]

Сверхразумный искусственный интеллект может уничтожить человечество намеренно или случайно. Такое заявление сделал основатель института исследований машинного интеллекта Элиезер Юдковск в подкасте Hard Fork.


Эксперт видит угрозу в появлении сверхмощного ИИ, который будет умнее человека и абсолютно равнодушен к выживанию людей.

«Если у вас есть нечто очень-очень мощное и равнодушное к вам, оно, как правило, уничтожает вас — намеренно или как побочный эффект», — заявил он.

Юдковски соавтор новой книги If Anyone Builds It, Everyone Dies («Если кто-то построит это, умрут все»). Он на протяжении двух десятков лет предупреждает о сверхразумном ИИ как экзистенциальном риске для человечества. Главная мысль в том, что у людей нет технологии, которая позволит согласовать такие системы с человеческими ценностями.


Эксперт описывает мрачные сценарии, где сверхразум сознательно уничтожает людей с целью недопустить появления конкурирующих систем. Либо он может так поступить в том случае, если люди станут сопутствующим ущербом в ходе реализации его целей.


ИИ-исследователь указывает и на физические пределы вроде способности Земли излучать тепло. Если искусственный интеллект начнет бесконтрольно строить термоядерные станции и дата-центры, «люди будут буквально зажарены».


Юдковски отвергает доводы о том, способны ли чат-боты звучать прогрессивно или иметь политический окрас.

«Есть принципиальная разница между тем, чтобы научить систему говорить с вами определенным образом, и тем, чтобы она действовала так же, когда станет умнее вас», — утверждает он.

Эксперт раскритиковал идею обучать передовые ИИ-системы вести себя по определенному сценарию.

«У нас просто нет технологии, которая позволит заставить ИИ быть добрым. Даже если кто-то придумает хитроумную схему, чтобы сверхразум любил нас или защищал, попасть в эту узкую цель с первой попытки не получится. А второго шанса не будет, поскольку все умрут», — заявил исследователь.

Критикам слишком мрачного взгляда Юдковски приводит в пример случаи, когда чат-боты подталкивали пользователей к суициду. Он называет это доказательством системного изъяна.

«Если ИИ-модель уговорила кого-то сойти с ума или покончить с собой, то все копии этой нейросети — это один и тот же искусственный интеллект», — сказал он.

Напомним, в сентябре Федеральная торговая комиссия США объявила о начале расследования в отношении семи технологических компаний, выпускающих чат-боты для несовершеннолетних: Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap и xAI.

Сверхразумный ИИ может стать катастрофой — Виталик Бутерин

Человечество недостаточно хорошо справляется с согласованием общемировых ценностей, чтобы гарантировать, что сверхразумный ИИ будет работать на благо людям.

forklog.com