Драматичные предупреждения инсайдеров об ИИ не произвели впечатления на некоторых представителей Кремниевой долины

Драматичные предупреждения инсайдеров об ИИ не находят понимания у некоторых представителей Кремниевой долины

Каждый сентябрь руководство ведущих компаний Кремниевой долины собирается в отеле Palace в Сан-Франциско, чтобы привлечь инвесторов на конференции, организованной Goldman Sachs.

На этой неделе, наряду с обсуждением роста и возможной доходности, технологическим лидерам пришлось затронуть тему внезапной отставки исследователя Anthropic Джейкоба Коксона.

27-летний Коксон, который ранее работал в OpenAI, а затем перешел в ее главного конкурента Anthropic, заявил во вторник, что люди, разрабатывающие искусственный интеллект (ИИ), верят, что эта технология может уничтожить человечество.

Они «играют в рулетку нашими жизнями», сказал он, добавив: «скоро это будут сверхумные системы, способные взломать что угодно».

Коксон далеко не первый инсайдер в сфере ИИ, забивший публичную тревогу. В последние годы произошла серия громких увольнений как из Anthropic, так и из OpenAI из-за очевидных опасений по поводу безопасности, а некоторые действующие сотрудники Anthropic даже повторили слова Коксона.

«Мы действительно искренне верим, что ИИ может убить всех людей! Лично я считаю, что вероятность этого в ближайшее десятилетие составляет >10%», — написал в X руководитель группы Anthropic Эван Хубингер.

Хотя Коксон прямо заявил в своих публикациях, что его предупреждения — «не маркетинг», некоторые руководители и инвесторы Кремниевой долины со скептицизмом отнеслись к недавней волне тревожных заявлений инсайдеров.

Сообщается, что Anthropic и OpenAI готовятся к потенциально рекордным первичным публичным размещениям акций (IPO), и некоторые представители технологической индустрии утверждают, что последние резкие предупреждения об опасностях ИИ могут быть направлены на создание хайпа с целью подчеркнуть мощь этих продуктов.

Глава Anthropic Дарио Амодеи столкнулся с критикой за слова о том, что ИИ может уничтожить половину офисных рабочих мест начального уровня и «подвергнет испытанию то, кем мы являемся как вид».

Один из спикеров конференции, генеральный директор Grindr Джордж Арисон, заявил BBC, что, по его мнению, высказывания Коксона и других на этой неделе отражают «антицивилизационное мировоззрение в Anthropic».

Он назвал их «опасными» и сообщил, что из-за них он поручил некоторым инженерам приложения для знакомств LGBTQ+ прекратить использование технологий Anthropic.

«Для нас, как для распорядителей денег наших акционеров, безответственно полагаться на бизнес, который делает то, что делает эта компания с точки зрения ее публичных заявлений», — сказал он.

«Возможно, они действительно в это верят», — отметил Арисон. «Или можно поспорить, что они говорят это потому, что это отличный способ привлечь больше поддержки инвесторов, ведь единственный способ оправдать такие оценки — это заявить: "Я собираюсь захватить каждую отрасль и забрать каждую работу, и мой ИИ будет выполнять всю эту работу"».

В ходе последнего раунда сбора средств в начале этого года Anthropic была оценена в 965 миллиардов долларов (713 миллиардов фунтов стерлингов).

BBC обратилась к Anthropic с просьбой прокомментировать эти высказывания.

В эссе, опубликованном рано утром в субботу, Амодеи призвал к замедлению разработки моделей ИИ и глобальному регулированию, заявив, что риски, связанные с ИИ, «серьезны».

Глава Nvidia Дженсен Хуанг также обсудил комментарии Коксона перед аудиторией на конференции, сообщили BBC несколько человек из присутствовавших. По их словам, он отверг их как ложные.

Ранее Хуанг заявлял, что идея о том, что ИИ «станет концом человечества», является «полной чушью».

И хотя он может иметь коммерческий интерес в буме ИИ — Nvidia производит чипы, на которых работают системы ИИ, — его высказывания отражают растущее недовольство в Кремниевой долине экзистенциальными предупреждениями со стороны нынешних и бывших сотрудников.

Некоторые критики даже обвиняют Anthropic в нагнетании страха в надежде спровоцировать регулирование, которое могло бы закрыть доступ конкурентам и оставить ее и OpenAI монополистами в этом секторе.

Брэд Герстнер, глава инвестиционной фирмы Altimeter Capital, опубликовал фотографии Хуанга с конференции и обвинил Коксона в «нелепом преувеличении».

В пятницу генеральный директор Hugging Face Клеман Деланг также высказал свое мнение. Компания Hugging Face, о приобретении которой Nvidia объявила на прошлой неделе, ранее в этом году подверглась взлому со стороны агентов OpenAI, что вызвало бурные дискуссии о безопасности ИИ.

«Извините, но спрашивать Джейкоба о риске вымирания из-за ИИ — это все равно что спрашивать мастера по кондиционерам об изменении климата», — написал он в X. «Не говорю, что это обязательно неинтересно или неверно само по себе, но давайте соблюдать пропорции».

И Герстнер, и Деланг высказались более сдержанно в субботу после публикации предложения Амодеи: Герстнер назвал его «важным шагом вперед» в балансировании таких конкурирующих приоритетов, как скорость и безопасность.

Деланг предложил помочь в реализации возможных решений, предложенных Амодеи.

В апреле Anthropic взбудоражила индустрию ИИ, заявив, что обнаружила способность своего инструмента Mythos превосходить людей в некоторых задачах по хакингу и кибербезопасности.

Mythos также продемонстрировал способность самостоятельно выходить из так называемой «песочницы» (изолированной среды), что вызвало дискуссии среди регуляторов, законодателей и бизнеса о возможных опасностях ИИ.

В четверг Anthropic сообщила о новом событии: компания выявила и остановила злоумышленников, которые пытались использовать ее технологию ИИ для деятельности, включающей разработку биооружия и кибершпионаж.

Под сверкающими люстрами в атриуме с витражным куполом отеля Palace некоторые инвесторы сообщили BBC, что комментарии Коксона и подобные им могут ускорить меры государственного регулирования.

Федеральный законопроект, соавтором которого в этом месяце выступил левый сенатор Берни Сандерс от штата Вермонт, под названием «Акт о запрете искусственного сверхинтеллекта», предусматривает временную приостановку разработки передового ИИ.

«Существует высокая вероятность того, что люди потеряют контроль над ИИ», — заявил Сандерс в четверг в программе Newsnight на BBC. «И что произойдет тогда, никто не знает. Но может ли это быть катастрофой? Да, может».

«Когда ученые говорят вам, что существует вероятность катаклизма для человечества, нужно быть идиотом, чтобы не сказать: притормозите», — добавил он.

Однако если государственные меры коснутся всей отрасли, то их инициаторами, скорее всего, станут законодатели, а не администрация Трампа, которая в целом поддерживает политику неограниченного развития ИИ. Она преподносит это как необходимость для того, чтобы США не уступили лидерство Китаю.

Общаясь с журналистами на этой неделе, президент Дональд Трамп ответил на вопрос, есть ли у него опасения, что ИИ может привести к вымиранию человечества. «Нет, у меня их нет», — сказал он. «У меня есть опасения, что если мы не победим в сфере ИИ, мы окажемся в очень плохом положении. Сейчас мы опережаем Китай».

Но отношения президента с Anthropic остаются натянутыми. После того как компания отказалась разрешить военным США использовать свои модели ИИ, Белый дом назвал ее «радикально левой, воук-компанией» и объявил угрозой для цепочки поставок — шаг, который федеральный судья признал незаконным.

Дэвид Сакс, курировавший вопросы ИИ в администрации Трампа в первые дни ее работы, также неоднократно критиковал Anthropic.

OpenAI не подвергалась столь пристальному вниманию со стороны Белого дома. Представляя на прошлой неделе новую модель под названием Astra, президент OpenAI Грег Брокман назвал отношения компании с администрацией Трампа «очень хорошим партнерством».

Компания OpenAI, заявившая в июне о намерении выйти на фондовый рынок, недавно была оценена в 852 миллиарда долларов.

Компания не ответила на запрос BBC о комментариях.

На конференции в Сан-Франциско на этой неделе погоня за прибылью, похоже, перевесила любые растущие экзистенциальные тревоги или опасения по поводу возможных государственных ограничений на ИИ.

Один из инвесторов сказал, что с нетерпением ждет предстоящей формы S-1 от Anthropic — документа, который компании должны подавать регуляторам ценных бумаг для продажи акций.

Его главный вопрос о компании был прост: прибыльна ли она?

На вопрос в четверг, боится ли он возможного конца света, Сид Шет — генеральный директор чип-компании d-Matrix, подписавшей в тот день на конференции соглашение с Nvidia, — ответил прямо.

«Нет», — сказал он.