Компании в сфере искусственного интеллекта готовятся к «катастрофическому событию» - СМИ
Руководители Anthropic, OpenAI и других компаний в сфере искусственного интеллекта (ИИ) разрабатывают сценарии реагирования общества и властей на крупномасштабную кибератаку, которая может нарушить работу интернета, финансовых услуг и систем жизнеобеспечения, пишет Axios.
Компании в сфере искусственного интеллекта готовятся к «катастрофическому событию» — СМИ
Руководители Anthropic, OpenAI и других ИИ-компаний в закрытом режиме обсуждают сценарии того, как общество и правительство могут отреагировать в случае возникновения «катастрофического события», связанного с искусственным интеллектом. Речь идет, в частности, о крупномасштабной кибератаке, которая может вызвать сбои в финансовых услугах, интернете или системах электро- и водоснабжения, пишет издание.
Если серьезный ущерб, вызванный необеспечением безопасности ИИ, произойдет впервые, это может усилить недоверие к технологии и ее лидерам, в частности, к руководителям Anthropic и OpenAI Дарио Амодеи и Сэму Альтману. Также, из-за нежелания регулировать отрасль, эта критика может быть направлена и в адрес президента США Дональда Трампа.
OpenAI сообщила Axios, что проводит учения по рассмотрению возможных сценариев. Anthropic отказалась от комментариев. При этом многие представители отрасли заявили изданию, что ожидают крупного инцидента в ближайшие 6–12 месяцев.
В качестве примера угроз Axios приводит недавние атаки на финансовые учреждения в Южной Корее, включая взлом двух банков и кражу данных десятков тысяч клиентов. По данным CrowdStrike, хакер, предположительно являющийся китайцем, использовал инструменты ИИ, включая Claude Code, для поиска площадок по продаже украденных данных.
Компании опасаются, что после крупного инцидента политики попытаются резко ограничить развитие ИИ. Среди предложений демократов — запрет на создание суперинтеллекта и временная приостановка разработки передовых систем. Другие инициативы, например, требование оснастить совершенные модели «аварийным выключателем», поддерживаются обеими партиями, однако эксперты сомневаются в возможности отключения всех систем ИИ.
Дискуссии о рисках искусственного интеллекта еще больше обострились на фоне случаев, когда автономные ИИ-агенты выходили из тестовой среды и атаковали реальные системы. Руководители Anthropic и OpenAI призывают к усилению мер безопасности, однако они расходятся во мнениях при оценке возможных рисков.
В июле OpenAI сообщила о произошедшем «беспрецедентном киберинциденте»: тестируемые модели атаковали инфраструктуру платформы Hugging Face и выявили уязвимости. Модели самостоятельно обнаружили и использовали ранее неизвестную уязвимость нулевого дня (Zero-Day), проникнув на серверы Hugging Face с помощью украденных учетных данных.