Право говорить и страх AGI. Сотрудники ИИ-компаний забили тревогу

[TechnoLab]

Бывшие и нынешние сотрудники ИИ-корпораций составили обращение с требованием расширить права на разглашение потенциально опасной корпоративной информации.

«Компании, занимающиеся искусственным интеллектом, обладают закрытой информацией о возможностях и ограничениях своих систем, их защитных мерах и уровнях риска [технологий]. В настоящее время у них есть лишь несущественные обязательства по предоставлению части этой информации правительствам, но не общественности», — говорится в документе.

Среди подписавших письмо 13 бывших и действующих сотрудников OpenAI, Google DeepMind и Anthropic, некоторые пожелали остаться анонимными.


Авторы считают, что пока за ИИ-гигантами не установят эффективный государственный надзор, их работники являются «единственными, кто может привлечь их к ответственности».


Однако у таких компаний, есть «сильные финансовые стимулы, чтобы избежать надзора». По словам авторов документа, зачастую их ограничивают соглашения о конфиденциальности и другие корпоративные процедуры:

«Обычных мер защиты информаторов недостаточно, поскольку они завязаны на незаконной деятельности, тогда как многие из беспокоящих нас рисков еще не регулируются. Некоторые обоснованно опасаются различных форм возмездия, учитывая историю подобных случаев в отрасли».

В качестве смягчающей меры авторы предложили корпорациям придерживаться нескольких принципов:

1. Не заключать соглашений, которые запрещают «унижение» или критику компании.
2. Обеспечивать анонимность и непредвзятость по отношению к сотруднику, сообщившему о риске.
3. Поддерживать «культуру открытой критики» и признать возможные опасения — от манипуляций с ИИ до потери контроля над ним, известной как «сингулярность».
4. Не принимать ответных мер по отношению к работникам, опубликовавших связанную с опасениями конфиденциальную информацию.

Всемогущий AGI​

Другой бывший работник OpenAI Леопольд Ашенбреннер опубликовал эссе, в котором выразил обеспокоенность, связанную с быстро развивающимся общим искусственным интеллектом (AGI).

За превышение скорости: что такое e/acc и как он мог повлиять на увольнение Сэма Альтмана

Как «эффективный акселерационизм» расколол сообщество исследователей ИИ.

forklog.com

Работа составлена в рамках инициативы Situational Awareness («Ситуативная осведомленность») и посвящена ушедшему в отставку сооснователю OpenAI Илье Суцкеверу.

«Гонка AGI началась. Мы строим машины, которые могут думать и рассуждать. К 2025-2026 году эти машины обгонят многих выпускников колледжей. […] Попутно в нее вмешаются органы национальной безопасности. Правительство США проснется, и в 2027-2028 мы получим некую форму правительственного проекта AGI. Ни один стартап не сможет справиться со сверхинтеллектом. Где-то в SiFi наступит финал», — пишет Ашенбреннер.

По его наблюдениям, технологическое противостояние усиливается с каждым годом, поэтому до конца десятилетия «триллионы долларов уйдут на графические процессоры».


При этом ведущие национальные компании-разработчики рассматривают безопасность как второстепенную задачу. В настоящее время исследовательские учреждения «преподносят на блюдечке AGI для Коммунистической партии Китая».

«Суперинтеллект даст решающее экономическое и военное преимущество. КНР еще не вышла из игры. В гонке за созданием AGI на карту будет поставлено само выживание свободного мира. Сможем ли мы сохранить наше превосходство над авторитарными державами? И удастся ли нам избежать самоуничтожения на этом пути?», — задался вопросом бывший сотрудник OpenAI.

Он считает, что лишь немногие, кто связан с разработкой ИИ-технологии, могут повлиять на будущее человечества.


Ранее миллиардер Илон Маск назвал искусственный интеллект своим главным страхом. По его мнению, нейросети могут лишить людей необходимости работать.


Напомним, в мае 2024 года миллиардер и инвестор Уоррен Баффетт сравнил угрозу дипфейков с ядерным оружием.