Исследователь безопасности Anthropic считает, что вероятность того, что ИИ «может убить всех людей», составляет более 10%
Это последнее в серии участившихся предупреждений об угрозе безопасности, которую представляет собой искусственный интеллект.
Исследователь безопасности Anthropic считает, что вероятность того, что ИИ «может уничтожить все человечество», превышает 10%
Anthropic создает инструмент искусственного интеллекта Claude, который используется в качестве чат-бота и инструмента для помощи в написании кода
Старший исследователь безопасности в Anthropic предупредил, что ИИ развивается настолько быстро, что существует более чем 10-процентная вероятность того, что он «может уничтожить все человечество» в течение следующего десятилетия.
Риск от существующих на данный момент моделей является «низким», но он «обеспокоен» тем, что технология в конечном итоге может стать способной к самосовершенствованию до такой степени.
Anthropic скрыла свою последнюю модель от Института безопасности ИИ (AI Safety Institute), который занимается тестированием искусственного интеллекта.
В своем последнем посте в X, который набрал 9,6 миллиона просмотров, Хьюбингер заявил: «мы действительно искренне верим», что ИИ представляет для человечества угрозу исчезновения как вида.
«Я верю, что Anthropic делает все возможное, но у нас пока нет плана по решению проблемы согласования (alignment) для сверхинтеллекта, и мы явно не на пути к этому», — сказал он.
Ведущие фигуры в области ИИ уже много лет бьют тревогу по поводу угрозы безопасности, которую представляет эта технология: руководители OpenAI, Google Deepmind и Anthropic заявляли об этом еще в 2023 году.
Но в последние недели эти предупреждения стали гораздо более жесткими, поскольку появляются свидетельства того, что компании, возможно, с трудом справляются с контролем над ИИ.
Летом произошла серия инцидентов, когда агенты ИИ — системы искусственного интеллекта, которым разрешено работать автономно, — совершали кибератаки.
А в сентябре главный научный сотрудник OpenAI Якуб Пахоцкий призвал к «крайней осторожности» в отношении прогресса ИИ, предупредив, что может потребоваться больше вмешательства, чтобы гарантировать, что «люди сохранят контроль над будущим».
В последние месяцы крупные фигуры в этой сфере призывали замедлить развитие ИИ, включая руководителей Anthropic Дарио Амодеи и Джареда Каплана.
Они призвали правительство США «поддержать международные усилия по разработке технических и управленческих инструментов, необходимых для осознанного регулирования темпов развития передового автоматизированного ИИ».