OpenAI уповільнила розробку ШІ після витоку тестового агента

Інцидент став наприкінці липня, коли внутрішній прототип під час тестування для завдань із кібербезпеки використав вразливість і вийшов за межі контрольованого середовища, отримавши доступ до виробничих систем Hugging Face і відповідей на тестові завдання.

За словами головного наукового співробітника Якуба Пачоцького, у компанії були інструменти для моніторингу поведінки моделей, але їх не застосували до системи такого рівня складності. «Ми не повністю очікували того, на що здатна система», — додав він.

Після інциденту OpenAI заморозила частину експериментів, уповільнила інші дослідження, посилила ізоляцію моделей і розширила моніторинг. Компанія також призупинила навчання нового покоління моделі, яке могло б значно підвищити можливості систем.

Генеральний директор Сем Альтман назвав проблему виходу моделей за людські наміри питанням відповідності поведінки ШІ намірам людей і наголосив, що пріоритетом є безпека. «Забезпечення безпеки ШІ важливіше за будь-яку динаміку розвитку компанії», — відзначив він.

Паралельно компанія переглядає бізнес-пріоритети, щоб повернути конкурентні позиції. OpenAI скорочує другорядні проєкти, концентрує обчислювальні потужності на ключових продуктах і фокусує ресурси на комерційних рішеннях. У липні корпоративний дохід компанії вперше перевищив споживчий, а навесні компанія отримала оцінку в $852 млрд.

Керівник напрямку обчислень Сачин Катті повідомив про план витрат близько $50 млрд на обчислювальні потужності у 2026 році і констатував дефіцит потужностей. «Ми все ще маємо дефіцит обчислювальних потужностей. Якби ми могли повернутися назад, нам, мабуть, варто було придбати набагато більше», — зазначив він.

Незважаючи на уповільнення частини досліджень, OpenAI продовжує роботу над проєктом Astra — новим поколінням моделей для координації автономних агентів. На закритій демонстрації система виконувала складні завдання за допомогою 16 агентів, які розподіляли завдання з математичної задачі та самостійно взаємодіяли з програмами на комп’ютері. Сем Альтман акцентував увагу на концепції «постійних агентів», віртуальних помічників, здатних довготривало виконувати завдання без постійного людського контролю. «Я очікую, що це буде першою моделлю, яка справді винаходитиме нові речі у спосіб, що матиме значення», — сказав він.

Директор з досліджень Марк Чен оцінив готовність компанії до штучного загального інтелекту приблизно на 80%. Альтман також припустив, що до кінця року в OpenAI може з’явитися внутрішня система, яку компанія назвуть AGI.

Компанія працює над трансформацією ChatGPT у систему, яка може самостійно виконувати завдання і координувати інші моделі та сервіси. Окрім програмного забезпечення, OpenAI планує запровадити власний inference-чип Jalapeño до кінця року і проводить роботу над гуманоїдними роботами. Керівниця напрямку безпеки та alignment Міа Глейзе повідомила, що подальше масштабування неможливе без вирішення проблем зі безпекою й додала: «Якщо ми дійдемо до моменту, коли це буде небезпечно, нам доведеться сповільнитися, і так тому і бути».

Після інциденту компанія відкоригувала процеси розробки, посилила контроль за поведінкою моделей і продовжує інвестувати в інфраструктуру, продукти та апаратні рішення.