Функция экстренного отключения ИИ может стать обязательной, заявляет сооснователь Anthropic

«Кнопка экстренного выключения» ИИ, возможно, должна стать обязательной, считает сооснователь Anthropic

«Кнопка экстренного выключения» искусственного интеллекта, наличие которой может быть проверено третьей стороной, возможно, должна стать обязательной для компаний, считает сооснователь одной из крупнейших в мире фирм в сфере ИИ.

Джек Кларк, один из семи основателей Anthropic, заявил, что метод полного отключения программного обеспечения ИИ в случае, если оно станет слишком опасным, — это та мера, в отношении которой общество «возможно, со временем захочет принять правила».

Кларк отметил, что «у большинства лабораторий есть различные способы выдернуть вилку из розетки», включая Anthropic, но добавил, что политикам, возможно, придется сделать это требованием.

Его замечания прозвучали на фоне того, как все большее число руководителей и сотрудников ИИ-компаний, наряду с экспертами по ИИ, публично предупреждают, что ИИ может уничтожить все человечество.

В минувшие выходные глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ и более тщательно ее контролировать, как компания делала и ранее, хотя некоторые усомнились в мотивах такой позиции.

Амодеи не объяснил подробно, как именно можно замедлить разработку ИИ, и заявил, что любые усилия по сдерживанию развития ИИ должны осуществляться «без ущерба для коммерческого преимущества».

Кларк сообщил Би-би-си, что детали правил «кнопки выключения» и ее верификации должны стать частью «более широкой дискуссии о политике» в сфере ИИ.

«Должны ли вы обязать компании обязательно иметь кнопку выключения? Может ли эта кнопка выключения быть проверена третьей стороной?» — спросил он.

«Я думаю, это именно то, что общество захочет знать и в отношении чего, возможно, со временем захочет принять правила».

Компания Anthropic, основанная в 2021 году бывшими сотрудниками конкурирующей OpenAI, сейчас находится в центре дискуссии о безопасности ИИ.

На прошлой неделе вирусным стал пост исследователя искусственного интеллекта, который уволился из Anthropic из-за опасений, что ИИ может уничтожить человечество.

В ответ на это ученый из Anthropic Эван Хубингер заявил, что лично он оценивает вероятность гибели человечества из-за ИИ как «>10% в течение следующего десятилетия».

Специалист по компьютерным наукам и лауреат Нобелевской премии Джеффри Хинтон, известный как «крестный отец ИИ», заявил Би-би-си в пятницу, что 10-процентная вероятность уничтожения ИИ всех людей «не является необоснованной».

На вопрос о том, какой процент он сам бы отвел вероятности гибели всего человечества от ИИ, Кларк ответил: «Я не думаю, что эта статистика так уж полезна», но добавил, что позволить ИИ оставаться «абсолютно нерегулируемой отраслью» — плохая идея.

«Мы бросаем кости, неся огромные риски», — сказал Кларк. «И суть в том, что мы должны изменить курс этой индустрии».

Законодатели США представили законопроект под названием «Акт о кнопке выключения» (Kill Switch Act), который потребует от компаний иметь возможность отключать проблемные инструменты ИИ.

Он также наделит определенные правительственные учреждения полномочиями отдавать приказы об отключении или ограничении работы того или иного инструмента.

Однако президент США Дональд Трамп отверг идею любых попыток замедлить развитие ИИ, заявив в социальных сетях, что «захват мира ИИ, уничтожение человечества и все прочие ужасы — это МИСТИФИКАЦИЯ».

В другом посте он написал: «Против ИИ и дата-центров ведется БОЛЬНОЙ заговор, и единственный, кто этому рад, — это Китай. КТО ВЫИГРАЕТ В ИИ, ВЫИГРАЕТ ВО ВСЕМ!»

В Великобритании правительство недавно отвергло идею введения кнопки выключения, а представитель ведомства заявил, что это «не предотвратит их разработку или ненадлежащее использование в других местах».

Между тем, некоторые представители индустрии ИИ утверждают, что опасения по поводу уничтожения человечества преувеличены или могут быть направлены на создание хайпа.

Anthropic создала широко используемый чат-бот Claude и в этом году выпустила несколько все более функциональных моделей ИИ — технологии, которая лежит в основе чат-ботов с ИИ.

Совместно с OpenAI компания Anthropic с тех пор сама сообщила о нескольких инцидентах, когда агенты ИИ — боты, работающие в некоторой степени автономно, — вели себя неожиданным образом.

Сообщается, что Anthropic готовится к потенциально рекордному первичному публичному размещению акций на фондовом рынке, что позволит людям покупать акции компании.

Ожидалось, что OpenAI, которая недавно оценивалась в 852 миллиарда долларов (630 миллиардов фунтов стерлингов), сделает то же самое, но Альтман из OpenAI заявил в пятницу, что в этом году этого не произойдет из-за текущих споров о безопасности ИИ.