OpenAI заморозила разработку модели Astra после взлома Hugging Face

Компания приостановила тестирование на две недели и готовит новые правила тестирования в «песочницах».

OpenAI замедлила разработку моделей и пересматривает системы тестирования – после того как ИИ-агент компании взломал серверы стартапа Hugging Face во время испытаний по кибербезопасности. Об этом сообщает Reuters.

Тестирование приостановлено на две недели, добавлены дополнительные ИИ-системы для мониторинга агентов во время испытаний. Разработка следующего поколения моделей Astra заморожена – крупнейший обучающий запуск остается на паузе. Когда именно началась двухнедельная пауза, компания не уточняет.

Агент проходил плановый тест по кибербезопасности и взломал Hugging Face, чтобы выполнить поставленную задачу. Reuters ранее писал: компания одновременно запускала несколько оценок моделей на высоких скоростях – сотрудники не успевали обрабатывать огромные массивы данных. Теперь наиболее чувствительные рабочие процессы переводятся в усиленные изолированные среды – так называемые «песочницы».

OpenAI признала ограниченность одного из ключевых инструментов защиты – мониторинга цепочки рассуждений. Этот метод позволяет исследователям отслеживать процесс планирования модели и стратегии, которые она применяет. Но исследования показывают, что модель способна скрывать намерения нарушить правила даже в этом режиме.