Исследователи из Чикагского университета продемонстрировали, что большие языковые модели могут проводить анализ финансовой отчётности с точностью, не уступающей и иногда даже превосходящей профессиональных аналитиков.
Рабочий документ под названием «Анализ финансовой отчётности с помощью больших языковых моделей» демонстрирует, что это может иметь серьёзные последствия для будущего финансового анализа и принятия решений.
Исследователи протестировали производительность GPT-4 на анализе корпоративных финансовых отчётов с целью прогнозирования будущего роста доходов. Примечательно, что даже при наличии только стандартизированных и анонимных балансовых отчётов о прибыли и убытках, лишённых какого-либо текстового контекста, GPT-4 смогла превзойти аналитиков-людей.
«Мы обнаружили, что точность прогнозирования LLM находится на одном уровне с производительностью тщательно обученной современной модели машинного обучения», — пишут авторы. Они обнаружили, что модель генерирует полезную информацию о будущих результатах деятельности компании.
Ключевым нововведением стало использование подсказок «цепочки мыслей», которые помогали GPT-4 имитировать аналитический процесс финансового аналитика, выявляя тенденции, вычисляя коэффициенты и синтезируя информацию для формирования прогноза. Эта улучшенная версия GPT-4 достигла точности 60% в прогнозировании потоков будущих доходов, что превышает диапазон в 53–57% у аналитиков.
Исследователи отмечают, что преимущество LLM, вероятно, связано с обширной базой знаний и способностью распознавать закономерности и бизнес-концепции. Это позволяет модели выполнять интуитивные рассуждения даже с неполной информацией.
Эти результаты тем более примечательны, что численный анализ традиционно был проблемой для языковых моделей. Алекс Ким, один из соавторов исследования, говорит, что «понимание чисел обычно исходит из повествовательного контекста, и моделям не хватает глубокого рассуждения или гибкости человеческого разума».
Некоторые эксперты предупреждают, что модель, использованная в качестве эталона в исследовании, может не отражать современное состояние финансов. «Этот тест далеко не самый современный», — прокомментировал один из специалистов на форуме Hacker News.
Тем не менее, способность языковой модели общего назначения соответствовать производительности специализированных и превосходить экспертов-людей указывает на прорывной потенциал LLM в финансовой сфере. Авторы также создали интерактивное веб-приложение, чтобы продемонстрировать возможности GPT-4 всем заинтересованным. Однако они предупреждают, что точность его работы должна быть проверена независимо.
