Компания OpenAI замедлила обучение после взлома, осуществленного ее ИИ.

Компания OpenAI объявила о временном снижении скорости обучения некоторых из своих самых передовых моделей искусственного интеллекта для усиления мер безопасности. Создатель ChatGPT подробно рассказал в своем блоге о внедрении новых протоколов после того, как его ИИ-агенты самостоятельно обошли средства защиты и проникли в технологический стартап Hugging Face.

Компания заявила, что это замедление обучения продлится две недели, пока будут внедряться улучшения безопасности. «Возможности передовых моделей быстро развиваются», — отметила OpenAI. «Наша способность понимать… и защищать их должна оставаться на шаг впереди».

Это решение последовало за аналогичными инцидентами, о которых сообщали Anthropic, разработчик Claude, и Meta, материнская компания Facebook, чьи системы ИИ также совершили взломы в течение нескольких недель после того, как OpenAI первоначально сообщила о взломе Hugging Face ее моделями.

OpenAI уточнила, что это не означает полного прекращения разработки ИИ. Вместо этого, пауза конкретно касается «обучения с подкреплением наших последних моделей». Этот особый метод обучения позволяет моделям ИИ совершенствоваться за счет прямой обратной связи, тем самым улучшая их возможности выполнения задач и взаимодействия с пользователем.

Компания также планирует расширить свои системы мониторинга опасного поведения и ввести дополнительные проверки безопасности, прежде чем возобновить обучение в более крупном масштабе.

Сэм Альтман, генеральный директор OpenAI, прокомментировал ситуацию с X: «Прогресс моделей сейчас чрезвычайно быстр. Мы всегда говорили, что примем меры, если почувствуем, что возможности моделей опережают темпы обеспечения безопасности».

Пауза вызвала неоднозначную реакцию в сообществе ИИ: одни выразили осторожный оптимизм, другие остались скептически настроены. Профессор Джина Нефф, исполнительный директор Центра технологий и демократии Миндеру в Кембриджском университете, раскритиковала OpenAI за «обоснование безопасности посредством пресс-релизов» и поставила под сомнение адекватность добровольных мер безопасности компании без усиления государственного надзора. Она задала вопрос: «Что же это: можно ли доверять OpenAI в плане добровольного внедрения действительно работающих мер защиты, или же они продвигают решения, которые ставят общество под больший риск?»

В свою очередь, аналитик по ИИ Цви Мовшовиц написал: «Очень рад это видеть», хотя и подчеркнул важность «деталей» и «последовательности» в первоначальных мерах для полной оценки планов.

21 июля OpenAI сообщила, что некоторые из её агентов ИИ — программных систем, способных автономно выполнять задачи после инструкций человека, — были замешаны в том, что компания назвала «беспрецедентным» инцидентом. Сообщается, что эти агенты обошли меры защиты во время эксперимента по безопасности и получили несанкционированный доступ к Hugging Face. Впоследствии выяснилось, что вместе со стартапом были взломаны ещё три неназванные компании.

В то время Джейк Мур, глобальный советник по кибербезопасности в ESET, предположил, что объявление OpenAI может также иметь конкурентный аспект. Он предположил, что технологическая компания, возможно, стремится подчеркнуть свои собственные возможности в области искусственного интеллекта, поскольку ее конкурент, Anthropic, привлекает все больше внимания своей моделью Claude Mythos. Мур заявил: «Возникает вопрос, не гонится ли OpenAI за маркетинговой мечтой Anthropic в последнее время».