Нейросети в финансах: стоит ли доверять ИИ-моделям и как избежать критических ошибок

Алексей Сизов
Вице-президент по развитию Ассоциации КорпФинТех

При всей своей привлекательности нейросети остаются инструментами для профессионалов. Более того, в некоторых сферах советы ИИ-помощников могут быть не просто бесполезными, но и опасными. Особенно если пользователь в силу недостаточной квалификации не в состоянии провести контроль качества полученного ответа.

Крайне неосмотрительно полагаться без оглядки на советы нейросетей в финансовых вопросах! Британская консалтинговая компания Saturn, специализирующаяся на применении искусственного интеллекта в финансовой сфере, опубликовала показательные результаты свежего исследования. Эксперты протестировали 18 наиболее популярных ИИ-моделей на предмет точности ответов в области финансов, задав им 121 специализированный вопрос.

Ошибки нейросетей: результаты бенчмаркинга

В среднем по всем категориям вопросов модели выдавали ошибочные ответы в 57% случаев!

Как правило, точность бесплатных нейросетей ожидаемо ниже, чем у платных аналогов от тех же разработчиков:

• Худшая по показателям бесплатная модель Claude Haiku 4.5 допускала ошибки в 82% случаев.
• Лучшая из бесплатных, GPT 5.6 Luna, всё равно терпела неудачу в большинстве ситуаций (56% ошибок).
• Лидером среди платных ИИ-моделей стала Claude Opus 5 (в режиме рассуждения), которая ошибалась в 39% случаев.
• Самая слабая из платных систем, M365 CoPilot (с привязкой к корпоративным данным), выдавала неверные результаты в 55% случаев.

Результаты тестирования по всем моделям выглядят следующим образом:

Как правильно использовать ИИ в работе

При использовании нейросетей я рекомендую относиться к получаемому результату так же, как к работе расторопного, но неопытного молодого сотрудника. Результаты труда такого специалиста становятся приемлемыми только после тщательной проверки, доработки и ряда уточняющих вопросов.

Развивая аналогию, качество ответов генеративного ИИ будет напрямую зависеть от следующих факторов:

1. Качества и детализации постановки задачи (промпта);
2. Является ли задача типовой или абсолютно новой;
3. Наличия релевантного примера, качество которого вас удовлетворяет;
4. Доступа модели к необходимым инструментам и актуальной информации;
5. Соответствия задачи компетенциям конкретной нейросети.

Интересно, что, как и многие молодые сотрудники, алгоритмы часто “стесняются” признаваться в незнании и редко задают уточняющие вопросы при получении сложной задачи. Этот фактор необходимо строго учитывать при формировании запросов к нейросетям.

Ознакомиться с полной версией исследования можно на сайте авторов:
https://www.saturnos.com/report/artificial-authority