OpenAI приостановила часть разработки модели Astra

OpenAI приостановила часть работ над моделью Astra после предварительных испытаний, которые показали заметный прогресс в агентном программировании и в задачах по кибербезопасности. Компания сообщила, что по внутренней системе оценки рисков Preparedness Framework нельзя исключить, что будущая версия модели достигнет так называемого «критического» уровня.

Внутренняя система Preparedness Framework предназначена для ранней оценки потенциально опасных способностей моделей. В рамках этой системы OpenAI оценивает вероятность того, что новая версия модели сможет выполнять вредоносные операции без участия человека.

По внутренней классификации «критический» уровень означает, что модель при отсутствии контроля человека способна находить и создавать работающие уязвимости нулевого дня для защищённых реальных систем или самостоятельно планировать и проводить атаки, получив только общую формулировку цели. Под уязвимостью нулевого дня понимается ранее неизвестная слабость в ПО или системе, для которой нет доступных исправлений.

Компания уточнила, что предварительные тесты продемонстрировали прогресс в агентном программировании — способности модели планировать и выполнять сложные последовательности действий — и в задачах, связанных с обнаружением уязвимостей и обходом защит. Эти результаты компании показались достаточной причиной для временной приостановки части разработки и проведения дополнительных проверок.

OpenAI не опубликовала подробных технических данных о тестах, не привела конкретных примеров достигнутых возможностей и не указала точные сроки возобновления работ. Также не уточнено, какие именно части разработки остановлены и какие ресурсы будут направлены на дополнительные проверки.

В пресс‑сообщении компании отмечается, что текущие испытания имеют предварительный характер и требуют дальнейшего анализа. OpenAI намерена использовать результаты проверок для корректировки методов разработки и механизмов контроля, чтобы уменьшить риск появления моделей с возможностями, которые могли бы быть использованы для нанесения вреда.