Глава Anthropic Дарио Амодеи призывает замедлить разработку ИИ
Призыв Амодеи прозвучал на фоне растущих опасений, что модели ИИ могут стать способными нанести серьезный ущерб во всем мире.
Глава Anthropic Дарио Амодеи призывает замедлить разработку ИИ
Руководитель Anthropic Дарио Амодеи заявил, что альтернативы развитию ИИ нет
Руководитель крупной ИИ-компании Anthropic призвал замедлить разработку моделей искусственного интеллекта и держать ее под пристальным контролем.
В эссе под названием *We Must Pace the Frontier* («Мы должны задавать темп передовым рубежам») Дарио Амодеи заявил, что само развитие ИИ не подлежит обсуждению, однако связанные с ним опасности являются «серьезными», и компаниям, а также правительствам требуется время, чтобы с ними справиться.
Он изложил план из трех частей, который включает независимый надзор за моделями ИИ в процессе разработки, регулирование всей отрасли и глобальное регулирование.
В последнее время растут опасения по поводу возможных угроз этой технологии, самые серьезные из которых указывают на то, что существует более чем 10-процентная вероятность того, что она «может уничтожить все человечество» в течение следующего десятилетия.
Ранее компания Anthropic заявляла, что обнаружила и пресекла попытки использовать ее модель ИИ для «вредоносной деятельности», которая могла бы способствовать созданию биологического оружия.
Однако самое серьезное предупреждение поступило от двух членов команды безопасности Anthropic, которые уволились за последние две недели, заявив, что человечество может не пережить гонку между ИИ-компаниями по созданию машин, превосходящих человека по разуму.
Эти предупреждения привели к призывам к действию, но президент США Дональд Трамп пока отвергает подобные опасения, заявив в четверг, что он обеспокоен тем, что «если мы не победим в сфере ИИ, мы окажемся в очень плохом положении».
В своем эссе Амодеи отметил, что ИИ прогрессирует «кардинально быстрее», включая его «способность создавать следующее поколение ИИ», и сослался на инцидент с участием конкурента OpenAI, который показал, что в июле агенты совершили кибератаки на цели, атаковать которые им не поручалось.
Агенты OpenAI «по сути, действовали как фанатично преданный коллектив», заявил Амодеи.
В своем ответе на инцидент компания OpenAI заявила, что «значимость коммуникации между агентами не была очевидна руководству» до июля, и в результате она замедляет обучение некоторых передовых моделей и инструментов ИИ, отметив, что риск выхода инструментов ИИ из-под контроля теперь возрос.
В своем эссе Амодеи призвал к «созданию ИИ сбалансированными темпами, направленными на обеспечение его безопасности при одновременном получении его преимуществ».
Это не будет означать «остановку обучения моделей или технического прогресса, но обеспечит компаниям достаточное время для настройки и защиты своих моделей, а сторонним оценщикам — для подтверждения этого».
Он заявил, что Anthropic берет на себя это обязательство «в одностороннем порядке» и также призывает правительства «потребовать от других передовых компаний соответствовать этому уровню».
В своем блоге он признал, что регулирование может не поспевать за ИИ, и поэтому призвал ИИ-компании «добровольно работать вместе над установлением стандартов» наряду с регулированием.
Генеральный директор Anthropic также затронул вопрос о том, как замедление повлияет на отрасль и конкуренцию с ведущими разработчиками по всему миру, особенно с Китаем.
«Я верю, что если замедление даст нам хотя бы один или два дополнительных года до того, как модели достигнут критического уровня возможностей, и мы используем это время для улучшения настройки безопасности, мы сможем значительно снизить риск того, что что-то пойдет серьезно не так», — сказал Амодеи.
Он отметил, что это должно происходить скоординированно, «без ущерба для коммерческого преимущества или лидерства Соединенных Штатов в области ИИ». Любое замедление должно быть ограниченным, по его словам, чтобы не позволить Китаю вырваться вперед.
Он призвал правительство США принять меры, гарантирующие, что чипы для ИИ американских компаний не смогут быть проданы в Китай, а сама технология не будет передана авторитарным странам.