Тест ИИ: чат‑боты ошибались в 88% сложных финансовых задач
Тест компании Saturn показал: популярные чат‑боты допускали ошибки в 88% сложных финансовых задач; средний уровень неверных ответов по 18 моделям — 57%.
Технологическая компания Saturn провела тест 18 языковых моделей на 121 финансовом вопросе и собрала более 10 000 ответов. По данным компании, в среднем 57% ответов оказались неверными, а на сложных задачах с несколькими этапами расчёта доля ошибок составила 88%.
В исследование вошли ChatGPT, Claude, Copilot, Grok, Gemini и другие коммерческие и научные модели. Вопросы покрывали налоговые расчёты, планирование бюджета и задачи с последовательными арифметическими вычислениями; доля ошибок особенно выросла в задачах, требующих нескольких промежуточных шагов и проверки промежуточных значений.
У отдельных моделей доля ошибок доходила до 99%. Наилучший результат показала модель Claude Opus 5 в режиме рассуждений — 39% неверных ответов. В одном из кейсов рекомендация Claude Haiku 4.5 могла привести к наложению налогового штрафа в размере £17 500 (примерно $23 400).
Методика включала автоматизированный и ручной анализ: моделям подавались однотипные задания, ответы оценивались на соответствие правильному результату и на отсутствие вводящих в заблуждение рекомендаций. В отчёте перечислены причины ошибок: арифметические погрешности, неверная интерпретация условий задач и пропуск важных ограничений, например налоговых правил и сроков.
Saturn не указала точные даты проведения тестов и версии всех моделей, помимо названных, но отметила объём выборки — более 10 000 ответов. В документе приведены конкретные примеры ошибок с возможными материальными последствиями для пользователей, применяющих ответы ИИ в финансовых расчётах.
Отчёт указывает, что организации и частные лица применяют большие языковые модели для автоматизации расчётов и консультаций в финансах; документы Saturn содержат тестовые примеры и результаты проверки, иллюстрирующие ограничения этих систем.
Материалы на GNcrypto предоставляются исключительно в информационных целях и не являются финансовой рекомендацией. Мы стремимся публиковать точные и актуальные данные, однако не можем гарантировать их абсолютную достоверность, полноту или надёжность. GNcrypto не несёт ответственности за возможные ошибки, упущения или финансовые потери, возникшие вследствие использования данной информации. Все действия вы совершаете на свой страх и риск. Всегда проводите собственный анализ и консультируйтесь с профессионалами. Подробнее см. в наших страницах Условия, Политика конфиденциальности и Отказ от ответственности.
Статьи этого автора
