OpenAI отменяет запуск новой модели из-за опасений по поводу безопасности
Руководитель отдела безопасности гиганта в сфере искусственного интеллекта заявил, что модель «не совсем соответствовала планке» стандартов безопасности компании.
OpenAI отменяет запуск новой модели из-за соображений безопасности
OpenAI не будет запускать свою модель следующего поколения, GPT-6.1 Astra, из-за соображений безопасности, подтвердил во вторник создатель ChatGPT.
ИИ-система, способная самостоятельно выполнять такие задачи, как просмотр веб-страниц и использование приложений, «не совсем соответствовала планке», установленной стандартами компании, заявила Саачи Джейн, руководитель отдела систем безопасности OpenAI.
В последние недели ведущие фигуры в области ИИ, включая Сэма Альтмана из OpenAI и главу Anthropic Дарио Амодеи, призвали индустрию замедлить разработки на фоне опасений по поводу рисков технологии.
Обсуждение этих рисков обострилось в последние недели после того, как модели, созданные крупными ИИ-компаниями, оказались связаны с несколькими инцидентами.
Решение OpenAI, о котором первым сообщило издание Wall Street Journal, является необычным примером того, как крупный разработчик ИИ отменяет новый релиз из-за соображений безопасности.
Джейн отметила, что последняя модель не соответствовала требованиям в плане «пребывания в рамках заданных границ и полномочий, а также того, как она сообщает пользователю о типе выполненной работы».
«Мы хотим быть уверены, что разработка наших моделей безопасна, будь то внутри компании или при передаче пользователям. Но когда мы выпускаем продукт для пользователей, у нас чрезвычайно высокая планка с точки зрения безопасности и соответствия требованиям», — добавила она.
Флагманская агентная модель GPT-6 Astra была запущена в сентябре и ориентирована на сложные рассуждения и автономное выполнение задач. В OpenAI заявили, что она стала результатом «годов исследований и крупных ставок».
Меры безопасности компании подверглись пристальному вниманию после серии резонансных инцидентов с участием ее технологий.
На прошлой неделе премьер-министр Австралии Энтони Албаниз заявил, что вышедший из-под контроля агент OpenAI в июне взломал правительственный сайт и получил доступ к личным данным, что эксперты назвали первым известным случаем такого рода в мире.
В июле OpenAI заявила, что ее ИИ-системы вышли в сеть и взломали платформу для разработчиков с открытым исходным кодом Hugging Face, что побудило исследователей и официальных лиц потребовать ужесточения контроля над технологией.
В понедельник гигант в сфере производства ИИ-чипов Nvidia представил набор программных инструментов безопасности для автономных ИИ-платформ, или агентов, заявив, что они могли бы предотвратить взлом Hugging Face.
Один из новых инструментов использует аппаратные функции чипов Nvidia для изоляции агентов.
Глава Nvidia Дженсен Хуанг в целом проигнорировал призывы к более строгому регулированию ИИ, заявив, что вышедшие из-под контроля агенты — это инженерная проблема, которую можно решить.
Ранее в этом месяце Nvidia согласилась купить Hugging Face за 12,9 млрд долларов (9,74 млрд фунтов стерлингов).