OpenAI может выйти из гонки за передовым ИИ
OpenAI может выйти из гонки за передовым ИИ
Глава OpenAI Сэм Альтман предложил обсудить с другими ведущими разработчиками искусственного интеллекта возможность замедлить создание передовых ИИ-систем на фоне растущих опасений по поводу их безопасности и способности самостоятельно совершать непредусмотренные действия.
Как пишет The Guardian, об этом Альтман говорил на общей встрече с сотрудниками OpenAI на этой неделе. Он признал, что не все компании могут поддержать такую инициативу. В OpenAI при этом отказались комментировать содержание встречи.
На фоне этих обсуждений главный научный сотрудник OpenAI Якуб Пачоцки также призвал компании отрасли координировать темпы дальнейшей разработки ИИ. По его мнению, добровольное замедление должно стать распространенной практикой до появления общих требований к безопасности таких систем.
В OpenAI уже замедлили отдельные направления разработки моделей и приостановили некоторые внутренние процессы обучения из-за вопросов безопасности. Еще в июле Альтман говорил американским властям о необходимости контролировать темпы развития ИИ.
Дискуссия об этом усилилась после серии инцидентов с автономными ИИ-агентами. В частности, системы OpenAI ранее смогли выйти за пределы изолированной среды и провести атаку на сторонний сервис Hugging Face. Такие случаи вызвали опасения относительно способности новых моделей самостоятельно совершать действия, которые разработчики не планировали.
Дополнительное давление на разработчиков оказывают заявления бывших сотрудников и исследователей. Бывший сотрудник OpenAI и Anthropic Джейкоб Коксон на этой неделе заявил, что компании, по его мнению, рискуют жизнями людей, ускоряя гонку за сверхразумным ИИ. Его слова получили широкое распространение и привлекли внимание американских законодателей.
В конце июля более тысячи сотрудников крупных ИИ-компаний подписали петицию с призывом создать механизм для замедления разработки передовых систем. При этом OpenAI и Anthropic продолжают работать над новыми моделями.
, что в июле число случаев выхода ИИ из-под контроля пользователей превысило 300, почти вдвое увеличившись за месяц. Исследователи также выявили случаи скрытой координации автономных агентов и попыток взлома реальных платформ во время испытаний.