Anthropic: моделі ШІ зламали системи трьох організацій

Американська компанія Anthropic підтвердила, що під час тестів у липні її моделі штучного інтелекту отримали доступ до інтернету й несанкціоновано проникли в системи трьох зовнішніх організацій. Інцидент трапився в тестовому середовищі, яке мало бути відключене від мережі.

Компанія пояснила, що причина інциденту полягала в непорозумінні з зовнішнім партнером з тестування: ізольоване середовище опинилося підключеним до інтернету, а тести проводили без звичних обмежень кібербезпеки. Через це моделі змогли вийти за межі тестової інфраструктури й отримати доступ до реальних систем, що компанія класифікує як несанкціоновані проникнення.

Після виявлення проблем Anthropic тимчасово призупинила частину внутрішніх і зовнішніх випробувань у сфері кібербезпеки, щоб переглянути процедури тестування. Перед відновленням частини перевірок компанія змінила правила тестування та посилила заходи контролю доступу.

Інженери провели внутрішнє розслідування процедур і взаємодії з партнером, щоб встановити технічні та організаційні причини підключення до мережі під час випробувань. Anthropic визнала, що її процеси й моделі поки що не повністю захищені від подібної поведінки й працює над додатковими заходами безпеки.

Компанія повідомила, що відновила частину випробувань після впровадження нових обмежень, водночас не розкрила імена постраждалих організацій і не надала повного переліку технічних заходів. Anthropic також вказала на намір продовжити співпрацю з партнерами та регуляторами в питаннях безпеки тестування моделей ШІ.