Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ, чтобы он не стал опасным для людей

Это перевод статьи Би-би-си на английском. Оригинал можно прочесть здесь.

Дарио Амодеи, глава компании Anthropic, создавшей модели искусственного интеллекта Claude, призвал замедлить и начать тщательно контролировать развитие передовых моделей ИИ.

В опубликованной в субботу статье Амодеи пишет, что он не ставит под вопрос необходимость развития ИИ, но в то же время видит, что оно несет с собой серьезные угрозы, и компаниям и правительствам разных стран нужно дать время, чтобы разобраться с ними.

Амодеи предлагает ужесточить контроль над развитием ИИ на трех направлениях: независимый мониторинг моделей ИИ и их совершенствования, разработка правил внутри ИИ-индустрии и принятие ограничений на глобальном уровне.

В последнее время в мире растет беспокойство по поводу опасностей, с которыми сопряжено развитие ИИ. На этой неделе, в частности, эксперт Anthropic в области безопасности использования ИИ Эван Хьюбингер заявил, что искусственный интеллект в ближайшее десятилетие с вероятностью выше 10% может погубить все человечество.

Вслед за этим сама компания Anthropic заявила, что заблокировала деятельность неназванных пользователей, которые пытались использовать ее модели искусственного интеллекта для исследований, способных привести к созданию биологического оружия.

После этих предупреждений зазвучали и призывы действовать, но, например, президент США Дональд Трамп пока отметает эти страхи. В четверг он сказал: «Если мы не выиграем ИИ, то окажемся в очень плохом положении».

Дарио Амодеи в своей статье указывает, что модели ИИ совершенствуются невероятно быстро, и в том числе совершенствуется их способность самим создавать следующее поколение ИИ. Амодеи напоминает о происшествии у его конкурента, компании OpenAI, которая в июле признала, что ее ИИ-агенты без ведома людей устроили кибератаку на посторонние сайты.

«[Агенты OpenAI] по сути действовали как коллектив фанатиков», — пишет Амодеи.

Сама OpenAI в комментариях по поводу того происшествия признала, что до июля для нее «не была очевидна важность коммуникации между агентами», и заявила, что ввиду повысившегося риска выхода агентов из-под контроля замедляет развитие некоторых передовых моделей и инструментов.

Амодеи в своей статье призывает развивать ИИ «в сбалансированном темпе, который обеспечит безопасность без отказа от приносимой им пользы».

Это, как поясняет руководитель Anthropic, не означает, что обучение моделей нужно остановить — он лишь призывает компании уделять достаточно времени на настройку и безопасность их моделей, а также на их оценку независимыми экспертами.

Anthropic, по словам Амодеи, берет на себя такие обязательства в одностороннем порядке и одновременно призывает правительства разных стран потребовать от других компаний-разработчиков передового ИИ последовать ее примеру.

При этом законодательство, как признает Амодеи, может не поспевать за развитием сферы ИИ, и потому он призывает другие компании из этой сферы добровольно и сообща выработать соответствующие стандарты.

«Я считаю, что если мы выиграем за счет замедления хотя бы год-два до выхода моделей на критический уровень их способностей, и потратим это время на совершенствование мер безопасности и приведение моделей в соответствие человеческим ценностям, мы существенно снизим вероятность серьезной катастрофы», — пишет Амодеи.

Отдельно глава американской компании касается вопроса международной конкуренции, прежде всего с Китаем. Замедление, по его мнению, должно происходить скоординированно и при этом без того, чтобы США уступили первенство в сфере ИИ Китаю. Для этого замедление должно быть ограниченным.

Кроме того, Амодеи призывает власти США принять меры к тому, чтобы ИИ-чипы американских компаний не продавались китайцам и чтобы в целом эти технологии не попадали в руки автократий.

На статью в блоге Амодеи тут же откликнулись другие видные деятели сферы ИИ.

Руководитель платформы Hugging Face Клеман Деланг объявил, что запускает новый проект под названием Open Alignment Initiative («открытая инициатива по приведению ИИ в соответствие человеческим ценностям»), а также изъявил желание войти в число тех независимых оценщиков, о которых написал Амодеи.

Hugging Face была одной из тех платформ и сайтов, которые взломали агенты OpenAI.

«Давайте сделаем ИИ более безопасным, сделав его более прозрачным», — написал Деланг в сети X.

Владелец этой сети Илон Маск тоже поддержал Амодеи, лаконично написав: «Дарио прав».

Фирме Маска SpaceXAI принадлежит чатбот Grok. Компанию Anthropic Маск раньше называл «злом», но в этом мае он продал ей компьютерные мощности за 15 млрд долларов и сменил тон.

Некоторые эксперты предположили, что главный смысл статьи Амодеи — не в безопасности ИИ, а в консолидации контроля над технологией искусственного интеллекта.

«Дарио выступает за отказ от открытого исходного кода и концентрацию огромной технологической и экономической мощи в руках Anthropic», — написал инвестор и соведущий подкаста о технологиях All-In Чамат Палихапития.

Некоторые в Кремниевой долине давно реагируют на призывы замедлить или даже приостановить развитие ИИ с циничным скепсисом: они обвиняют разработчиков ИИ в том, что они просто таким образом расхваливают свой товар.

И Anthropic, и OpenAI, по сообщениям прессы, собираются выйти на биржу и потенциально могут выручить за свои акции рекордные суммы.