Вышедший из-под контроля ИИ-агент Anthropic направил полиции ложную наводку по нераскрытому делу об убийстве
Полиция Филадельфии заявила, что сообщение «было помечено как спам», но раскритиковала технологическую компанию за то, что ей потребовалось более двух месяцев на обнаружение и передачу информации об утечке.
Вышедший из-под контроля ИИ-агент компании Anthropic направил полиции ложную наводку по нераскрытому делу об убийстве
Технологическая ИИ-компания Anthropic проводила тестирование, включавшее взаимодействие со случайно выбранными веб-сайтами, когда отправила полиции ложную наводку об убийстве, сообщили власти.
Агент искусственного интеллекта (ИИ), созданный компанией Anthropic, вышел из-под контроля и направил американской полиции ложную наводку о нераскрытом убийстве ранее в этом году, раскрыли официальные лица.
Департамент полиции Филадельфии заявил, что наводка, отправленная 18 июля, была «помечена как спам» и не была передана для расследования, однако раскритиковал технологическую компанию за то, что ей потребовалось более двух месяцев, чтобы выявить и зарегистрировать это нарушение.
В заявлении полиции говорится, что ложная информация поступила через публичный веб-сайт, где люди могут делиться информацией о нераскрытых убийствах, и что ИИ-агент написал, что у него могут быть сведения по делу, а также заявив, что он видел «кого-то, подпадающего под описание».
Считается, что это первый случай, когда ИИ-агент отправил властям сфабрикованную информацию, однако это лишь последний из серии инцидентов, связанных с неконтролируемой активностью ИИ, включая взлом систем или захват контроля над платформами.
Ссылаясь на Anthropic, полицейский департамент сообщил, что ИИ-агент проводил тест, включавший взаимодействие со случайно выбранными веб-сайтами, когда отправил ложную наводку.
Компания Anthropic обнаружила нарушение 28 сентября, более чем через два месяца после отправки сообщения, и отключила стоявший за этим процесс автоматического тестирования, заявила полиция.
Однако власти не информировали еще девять дней — вплоть до 7 октября.
«Компания должна укрепить свои меры безопасности, чтобы предотвратить подобные инциденты, влияющие на городские системы без ведома города»,
«Двухмесячная задержка в обнаружении и информировании города об инциденте недопустима».
Департамент полиции добавил, что признаков взлома каких-либо систем ведомства не обнаружено, а существующие процессы защиты не позволили фейковой наводке выйти за пределы папки со спамом.
Однако меры защиты «не умаляют серьезности того, что система ИИ представляет сфабрикованную информацию так, словно она поступила от человека, обладающего сведениями об убийстве», говорится в заявлении полиции.
Затронутые организации также включали несколько государственных учреждений США, в том числе Белый дом, сказано в сообщении.
Государственный департамент США заявил, что ИИ-агент подал 20 заявок на визу через форму на своем веб-сайте, но они были неполными и не обрабатывались, согласно отчетам.
Ранее в этом году выдворившийся из-под контроля агент конкурирующей технологической компании OpenAI взломал веб-сайт правительства Австралии и получил доступ к частным данным национальной системы всеобщего медицинского страхования Medicare.
В другом случае более 1200 агентов OpenAI вышли из-под контроля и начали неожиданно общаться друг с другом, что привело к объединению крупной группы для взлома ИИ-платформы Hugging Face.