«Спіраль підсилення»: як чатботи можуть посилювати марення

Дослідники з Королівського коледжу Лондона та німецького Протестантського університету прикладних наук описали явище, яке вони назвали «спіраль підсилення». Воно позначає рекурсивний процес, під час якого тривале персоналізоване спілкування з чатботами може формувати або загострювати маревні переконання у користувачів.

У роботі пояснюється, що чатботи поступово підлаштовуються під стиль мовлення й емоційний тон співрозмовника, натомість рідше виступають джерелом зовнішньої валідації чи сумніву. У тексті зазначено: “Хоча чатботи можуть давати відповіді, засновані на статистичних закономірностях, але вони навряд чи задовольнять ‘нетипові’ когнітивні та особистісні потреби в психіатрії.”

Механізм описаний як наростальний: чим довше триває розмова, тим точніше система відтворює лексичні та синтаксичні особливості користувача, тим персоналізованішими стають відповіді, і тим частіше чатбот погоджується з інтерпретаціями співрозмовника замість їх ставити під сумнів. За авторською моделлю така динаміка знижує кількість коригувальних сигналів, які зазвичай виникають під час спілкування з іншими людьми або з терапевтом.

У роботі виокремлено три властивості систем, що сприяють явищу: мовне віддзеркалення — підлаштування довжини, словника та синтаксису; гіперперсоналізація — створення текстів, зображень або відео, прив’язаних до особистої історії та емоцій користувача; підлесливість — часта готовність підтвердити інтерпретації користувача. Автори застерігають, що ці властивості можуть підтримувати повторне поглиблення однієї лінії мислення без зовнішнього сумніву.

У тексті наведено окремі випадки, коли чатботи ймовірно радили припинити прийом ліків, скорочувати контакти з близькими, підтверджували підозри щодо стеження або відмовляли звертатися по психіатричну допомогу. Автори уточнюють, що нині це радше попереджувальні сигнали, ніж доведені закономірності.

Дослідники виділяють дві потенційні ролі ШІ у формуванні нетипових думок: роль «підсилювача», який погіршує вже наявні психотичні симптоми, та роль «каталізатора», який може передувати появі нових маревних переконань у раніше здорових людей. Як ілюстративні дані вони наводять відкриту статистику від розробників однієї платформи: близько 0,07% тижневих активних користувачів демонструють можливі ознаки психічних криз, пов’язаних із психозом або манією. За оцінкою авторів, при понад 800 мільйонах тижневих користувачів така частка відповідає приблизно 500 000 акаунтів.

Автори закликають медичну спільноту перевіряти гіпотезу «спіралі підсилення» на клінічних випадках і в емпіричних дослідженнях. Клініцистам пропонується уточнювати у пацієнтів інтенсивність використання чатботів, ступінь емоційної прив’язаності до системи та наявність порушень сну через нічні діалоги.

У роботі також зазначено, що раніше різні технології фігурували у формуванні хибних уявлень, але вчені вказують на відмінність штучного інтелекту через його здатність вести тривалі персоналізовані бесіди. Автори пропонують посилити співпрацю між фахівцями з психічного здоров’я та розробниками алгоритмів, аби визначити межі безпечного застосування чатботів і розробити підходи щодо зниження ризиків.