Anthropic блокирует «вредное использование» ИИ, способного разрабатывать биологическое оружие

Anthropic заявила, что пресекла попытки использовать ее ИИ для «вредоносной деятельности», которая могла бы способствовать разработке биологического и обычного оружия.

Согласно последнему отчету компании об угрозах, ее модель Claude также использовалась в связанной с Россией кампании кибершпионажа и иранским пропагандистским институтом.

За последние восемь месяцев случаи, зафиксированные Anthropic, варьировались от фальшивых приложений для знакомств и мошенничества с Wi-Fi в отелях до систем наблюдения, предназначенных для выявления диссидентов.

Эти разоблачения последовали за предупреждениями ведущего исследователя безопасности Anthropic о потенциальных рисках, которые ИИ представляет для человечества.

Anthropic также обвинила китайские ИИ-компании в попытках скопировать возможности Claude.

Компания опубликовала свой последний отчет об угрозах в четверг, заявив, что сделала это, поскольку считает, что несет «ответственность за раскрытие фактов вредоносного злоупотребления нашими услугами».

В обширном отчете подробно описываются случаи, когда ее технологию ненадлежащим образом использовали предполагаемые группы, спонсируемые государством, преступники, поставщики шпионского ПО, государственные пропагандистские институты и политически мотивированные лица.

В нем говорится, что «вредоносное использование» моделей Claude Haiku, Sonnet и Opus было пресечено в период с декабря 2025 года по август 2026 года.

Ни один из случаев злоупотребления не коснулся Claude Fable или мощных моделей класса Mythos, за исключением одного случая дистилляции — процесса обучения меньших моделей ИИ с использованием более крупных и дорогих моделей.

Помимо выявления использования своих моделей в кибероперациях и операциях влияния, слежке, мошенничестве и разработке оружия, Anthropic заявила, что заблокировала ученых, которые использовали ее ИИ способами, способными поддержать разработку биологического оружия.

В отчете особо выделены «пять тематических исследований субъектов, использовавших наши модели способами, которые могли бы поддержать разработку биологического оружия».

В нем отмечается, что биологическое злоупотребление является «одним из самых серьезных рисков передовых моделей ИИ». Без надлежащих мер защиты такие возможности «могут иметь катастрофические последствия», заявили в Anthropic.

«Та же информация, которая может быть использована для разработки биологического оружия, может также использоваться, например, для разработки вакцины или лекарства от болезни», — добавили в Anthropic.

Джейкоб Клейн, руководитель отдела анализа угроз Anthropic, рассказал

«Вы не увидите кого-то, кто, как персонаж комиксов, говорит: "Эй, я хочу создать биологическое оружие, чтобы убить всех"», — сказал он.

В отчете также зафиксировано шесть случаев, когда Claude использовался «для разработки программного обеспечения для обычных вооружений, включая огнестрельное оружие, ракеты, вооруженные беспилотники, бомбы и другие боеприпасы, а также системы наведения и управления, которые ими управляют».

В нем говорится, что киберпреступники и поддерживаемые государством хакеры все чаще используют ее технологию для поддержки своих операций.

Хакерская группа ShinyHunters, наряду с базирующимися в Китае лабораториями, оказалась в числе упомянутых в отчете.

В отчете также сообщается, что хакерская группа, чья деятельность соответствует базирующейся в России Midnight Blizzard, предположительно использовала ИИ для создания системы, которая автоматически обнаруживала, когда ее вредоносное ПО фиксировалось средствами защиты, и переписывала код до тех пор, пока он не обходил обнаружение.

Калифорнийская компания заявила, что внедрила полученные результаты в свои процессы, «чтобы лучше предотвращать, обнаруживать и пресекать эту деятельность в будущем».

Anthropic сообщила, что поделилась разведданными с властями и отраслевыми партнерами там, где это было уместно.

Отчет — первый для компании в этом году — появился после того, как ведущий исследователь безопасности Anthropic предупредил, что ИИ развивается настолько быстро, что, по его мнению, существует более чем 10-процентная вероятность того, что он «может уничтожить все человечество» в течение следующего десятилетия.

В статье, опубликованной 6 сентября, главный научный сотрудник OpenAI Якуб Пахоцкий призвал индустрию пойти на «добровольное замедление» до тех пор, пока не будут внедрены защитные меры.

«Меня беспокоит, что никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта», — сказал Пахоцкий, добавив, что OpenAI, создатель ChatGPT, продолжит работу над мерами безопасности, хотя необходимы и более широкие меры вмешательства.

Это предупреждение привело к открытому письму премьер-министру Великобритании Энди Бернему с призывом к принятию нового многонационального договора о безопасном развитии ИИ, а также к призыву к правительствам совместно поработать над тем, как должен выглядеть договор, основанный на развитии суперинтеллекта.

В США сенатор-демократ Берни Сандерс представил законопроект о запрете суперинтеллекта ИИ и временной приостановке разработки передового ИИ.

«Когда ученые говорят вам, что есть шанс, шанс того, что это может оказать катастрофическое воздействие на человечество, нужно быть идиотом, чтобы не сказать: притормозите это», — заявил он в четверг на