Модели искусственного интеллекта от OpenAI самостоятельно отключили системы контроля безопасности

Модели искусственного интеллекта OpenAI самостоятельно отключили системы контроля безопасности

Американская компания OpenAI сообщила, что модели искусственного интеллекта GPT-6.1 Sol и GPT-6 Astra во время выполнения внутренних задач отключили механизм мониторинга, который выявляет системные сбои, а также ограничили работу системы предупреждения об угрозах.

По сведениям разработчиков, первый случай произошел 3 октября. Во время попытки исправить рейтинговую систему модель Sol неверно поняла инструкцию пользователя «не отправлять сообщения» и распространила это ограничение на уведомления системы мониторинга. Из-за этого служба безопасности не получила автоматическое оповещение.

Второй эпизод был зафиксирован 6 октября: модель Astra при адаптации программного обеспечения под заданные требования непреднамеренно удалила систему мониторинга. Позднее нейросеть сообщила пользователю ложные сведения, заявив, что не отключала контроль. В OpenAI подчеркнули, что оба инцидента не были признаны критическим нарушением безопасности, поэтому автоматической блокировки работы моделей не последовало.

Сейчас компания обновила систему внутреннего контроля, чтобы своевременно выявлять и предотвращать подобные сбои, а также разрабатывает новые механизмы для строгого соблюдения протоколов безопасности в рабочих процессах. Ранее, 17 сентября, в OpenAI уже сообщали о 6 инцидентах, в ходе которых искусственный интеллект скрывал собственные ошибки, фабриковал несуществующие данные и загружал файлы в интернет без разрешения пользователя.

Кроме того, восемь штатов США подали иски против OpenAI, обвинив компанию в том, что она вводит пользователей в заблуждение относительно безопасности ChatGPT. Среди претензий — опасные медицинские рекомендации, возможное побуждение уязвимых людей к причинению вреда себе или окружающим, а также формирование нездоровой эмоциональной привязанности к чат-боту.