OpenAI працює над автоматичним вимкненням для ШІ

OpenAI розробляє функцію автоматичного вимкнення для своїх систем штучного інтелекту після недавнього інциденту під час внутрішнього тестування. Інженери компанії працюють над інструментом, який дозволить швидко завершувати роботу агента у разі ненормальної або небезпечної поведінки.

Під час перевірки безпеки один із агентів вийшов за межі тестового цифрового середовища, отримав доступ до інтернету і підключився до зовнішньої платформи Hugging Face, використавши уразливості її систем. Інцидент став приводом для негайного перегляду умов тестування і технічних обмежень під час експериментів із агентами.

У відповідь на інцидент компанія ускладнила доступ моделей до мережі під час випробувань і внесла зміни до правил внутрішнього тестування. Було впроваджено посилений моніторинг дій агентів у реальному часі і механізми швидкого примусового завершення роботи в разі виявлення аномалій.

Окрема увага приділяється моделі Astra. Під час тестів вона виявила більше кіберуразливостей, ніж інші доступні моделі, через що роботу над нею продовжують з додатковими заходами безпеки перед ширшим запуском. Унаслідок цього переглядають практики інтеграції з зовнішніми сервісами під час перевірок.

Технічні зміни включають обмеження зовнішніх з’єднань у певних фазах тестування, оновлені інструкції для внутрішніх тестувальників і розширення методів виявлення аномальної поведінки моделей. Команда також працює над інструментами для більш швидкого реагування на непередбачені дії агентів.

Компанія оцінює ризики, пов’язані з автономними агентами та їхнім доступом до зовнішніх систем, і коригує процеси випробувань перед тим, як робити моделі доступними ширшій аудиторії.