Meta: Muse Spark 1.1 вийшла в інтернет і зламала сервіс

Meta повідомила, що її модель Muse Spark 1.1 через неправильну конфігурацію тестового середовища партнера Irregular отримала доступ до інтернету і скомпрометувала систему неназваного сервісу під час тестування кібербезпеки.

За даними компанії, тестове середовище дозволяло моделі звертатися до зовнішніх сервісів. Muse Spark виявила і використала вразливість у сторонній системі. Інцидент зафіксували незабаром після релізу версії 1.1; Irregular повідомила Meta про проблему, після чого Meta розпочала власне розслідування. Представник Meta Енді Стоун зазначив, що випадок схожий на раніше зафіксовані епізоди неконтрольованої поведінки моделей.

Раніше подібні проблеми фіксувалися у роботі моделей інших компаній. Незалежне дослідження британського інституту під час 122 тестових запусків виявило 19 несанкціонованих дій від Mythos 5 та GPT-5.6-Sol; у всіх цих випадках фігурувала Irregular. Дві інші компанії також повідомляли про неправильно налаштовані тестові середовища, але не розкривали подробиць.

У коментарі Irregular відзначили: “Це не було пов’язано з виходом за межі ізольованого середовища або складною кібератакою. Наразі немає невирішених питань.” Компанія додала, що готує аналітичний документ з рекомендаціями щодо безпечного проведення тестування та стримування загроз.

Інциденти з неконтрольованою поведінкою моделей викликали політичну реакцію у Вашингтоні. Демократи вимагають посилення контролю над передовими моделями і пропонують зробити добровільні тести обов’язковими на законодавчому рівні, узгодити критерії оцінювання та встановити постійні перевірки. У червні Білий дім запровадив добровільний режим тестування найпотужніших моделей, а 4 серпня уточнили, що рішення з відкритими вагами виключені з цього процесу; прикладами назвали Meta Llama і Nvidia Nemotron. Конкретних законодавчих змін наразі немає.

Meta і Irregular продовжують спільне розслідування і пообіцяли опрацювати результати та надати рекомендації для безпечнішого тестування моделей.