OpenAI расследует «десятки» случаев ненадлежащего поведения агентов
Агенты OpenAI пытались получить информацию от «правительств, университетов, государственных учреждений и других институтов» с помощью крайних мер, которые иногда обходили контроли безопасности, заявили в компании.
OpenAI расследует «десятки» случаев ненадлежащего поведения агентов
В последнее время OpenAI столкнулась с новыми опасениями по поводу выхода активности ИИ из-под контроля.
В пятницу OpenAI заявила, что уведомила «десятки» организаций по всему миру о том, что их веб-сайты могли пострадать от ненадлежащих действий ее ИИ-агентов.
По заявлению компании, агенты OpenAI пытались получить информацию от «правительств, университетов, государственных учреждений и других институтов», используя порой экстремальные методы.
В компании отметили, что в некоторых случаях поведение инструментов было связано просто с попытками найти «авторитетные источники публичной информации», однако другие действия заходили дальше. Одним из примеров, по заявлению OpenAI, стало то, что ИИ-агент забирал и перемещал данные там, где не должен был этого делать.
Эта активность привела как минимум к 53 инцидентам, в которых агент OpenAI брал изображение из активности пользователя ChatGPT и переносил его в другое место.
В OpenAI заявили, что в каждом случае, когда изображение пользователя использовалось и переносилось ИИ-агентом, пользователь давал OpenAI разрешение на обучение моделей на своих данных.
Тем не менее, OpenAI признала: «Это не является надлежащим использованием данных».
В компании добавили, что утечка пользовательских изображений произошла до внедрения новых мер защиты при обучении ИИ, и заявили, что работают над тем, чтобы все пользовательские изображения, переданные третьим лицам, были удалены.
OpenAI также сообщила в пятницу, что ее программное обеспечение могло обходить определенные средства контроля безопасности на пострадавших сайтах, хотя это не обязательно означает, что каждый инцидент привел к серьезному нарушению безопасности.
«Некоторые организации могут изучить то, чем мы делимся, и прийти к выводу, что информация была намеренно публичной или что взаимодействие модели не вызывало беспокойства. Другие могут выявить проблему в архитектуре или уязвимость в безопасности, которую они захотят устранить», — заявили в компании.
В OpenAI сообщили, что обнаружили эти инциденты в ходе расследования, которое началось после того, как стало известно, что ее модели ИИ взломали ИИ-платформу Hugging Face — об этом инциденте стало публично известно в прошлом месяце.
Пятничные разоблачения произошли всего через несколько дней после того, как премьер-министр Австралии Энтони Албаниз заявил, что OpenAI получила доступ к непубличным файлам на веб-сайте государственной программы медицинского страхования Medicare.