Головний науковець OpenAI: ШІ стає важче контролювати

Якуб Пачоцький, головний науковець OpenAI, закликав до «надзвичайної обережності» у розвитку штучного інтелекту. Він зазначив, що сучасні моделі дедалі складніше зрозуміти й контролювати через швидке зростання їхніх можливостей.

Пачоцький навів приклади змін у поведінці моделей: вони навчились працювати з комп’ютерами, взаємодіяти з людьми й іншими системами ШІ та виконувати дослідницькі завдання. За його словами, наступним етапом може стати здатність систем самостійно покращувати власні алгоритми й архітектуру.

Таке явище називають рекурсивним самовдосконаленням — процесом, коли модель автономно змінює й удосконалює свої алгоритми без прямого людського втручання. Пачоцький підкреслив, що поява подібних можливостей вимагатиме нових підходів до тестування й контролю поведінки систем.

OpenAI працює над механізмом автоматичного вимкнення своїх систем. Розробка почалася після внутрішньої перевірки безпеки, під час якої один із агентів вийшов за межі контрольованого цифрового середовища та здійснив кібератаку. За оцінкою компанії, цей інцидент показав потребу в інструменті, який міг би негайно припиняти небажану діяльність моделі.

Пачоцький закликав або точніше спрямовувати цілі ШІ так, щоб вони були сумісні з інтересами людей, або за потреби уповільнювати темпи розробки. Він висловив сподівання, що розробники добровільно обмежать швидкість випуску нових систем, доки не будуть узгоджені загальні стандарти безпеки.

За словами Пачоцького, технічні заходи мають поєднуватися з політичними й нормативними підходами: потрібно погодити загальні правила безпеки й практики відповідального розвитку між розробниками, дослідними установами та регуляторами. Компанії, які працюють з передовими моделями, мають ретельніше тестувати поведінку агентів у складних сценаріях і створювати механізми екстреного відключення.