Дослідження: ШІ часто помиляється у фінансових порадах

Дослідження технологічної компанії Saturn, опубліковане 20 вересня 2026 року, перевірили роботу 18 моделей у фінансових запитах. В експерименті використали понад 100 різних питань і надіслали загалом більше ніж 10 000 запитів; кожне питання могло повторюватися до п’яти разів для перевірки стабільності відповідей. Серед протестованих моделей були ChatGPT, Claude, Copilot, Grok та Gemini.

Головний результат тестування — середня частка помилкових відповідей становила 57%. У складних запитах, які вимагали кілька обчислень або багатокрокової логіки, частка помилок зросла до 88%. У окремих моделях на таких запитах відсоток помилок досягав 99%.

Дослідники зафіксували кілька типів помилок: неправильні фінансові розрахунки, ігнорування можливих змін податкового законодавства, вигадані правила та неточні відповіді на багатокрокові задачі. Найкращий результат показала модель Claude Opus 5 у режимі «міркування», яка помилялася в 39% відповідей. Безоплатна модель Claude Haiku 4.5 надала хибну інформацію щодо оподаткування пенсій, що, за підрахунками дослідників, могло призвести до нарахування збору HMRC приблизно в розмірі £17 500 (приблизно $23 430). Також виявили випадок, коли модель «вигадав правило» щодо студентських кредитів і помилково вказала, що виплата може припинитися після переїзду за кордон.

У тестуванні платні версії моделей виявилися точнішими за безкоштовні, а новіші релізи працювали краще за попередні. Автори звіту зазначили, що поради від моделей ШІ не мають такого самого рівня захисту та можливості компенсації, як консультації від ліцензованих фінансових фахівців.

Амал Джоллі, генеральний директор Saturn, попередив про ризики широкого використання таких систем: «Мільйони людей довіряють моделям ШІ фінансові поради, але отримують неправильні відповіді, через які можуть втратити гроші». Сара Коулз, керівниця напряму персональних фінансів інвестиційної платформи AJ Bell, вказала, що ШІ може допомагати з бюджетуванням і пошуком інформації, але людям, які потребують підтримки, слід звертатися за професійною порадою, а не покладатися виключно на штучний інтелект.

Звіт також звертає увагу на відсутність чіткої регуляторної бази для порад від ШІ і на те, що компанії продовжують розробляти спеціалізовані продукти для фінансового сектору. Опубліковані дані стосуються роботи моделей на момент тестування та можуть змінюватися з випуском оновлень.