「金融タスクにおける専門家の判断を再現する学習」 – Thinking Machines

金融市場で市場平均を上回ることは非常に困難です。すべての投資家が同じ公開情報にアクセスできる場合、アルファは経験に基づく味覚と判断から生まれる独自の洞察に依存します。優れた投資家の判断は明確に言語化することが難しく、人間にもAIにも直接教えることはできません。それは経験から得られるものです。

投資家の仕事を最も単純な構成タスクに分解しても、それらのタスクはLLMにとって驚くほど難しいことがわかります。この記事では、投資判断に関連する情報を抽出するために金融文書をフィルタリングし処理するという、単純な特殊ケースを考察します。

投資家は毎日、ニュース記事、調査レポート、企業文書、メール、内部メモなど、情報に溢れています。読むこと自体は簡単ですが、本当の仕事はそれらに対して行われる小さな繰り返しの判断、すなわちフィルタリング、解釈、セグメント化、有用なシグナルの特定です。これらの判断は投資家の日常業務に組み込まれており、かなりの時間を消費します。

私たちは、情報トリアージタスク（何が関連性があり読む価値があるかを特定すること）を自動化できるかどうかを検討しました。これだけでも投資家の生産性を大幅に向上させ、解放された注意をより高度な合成と意思決定に使えるようになります。

LLM が単純な金融タスクでうまく機能しないことを踏まえ、私たちは「LLM に金融判断力を教えることは可能か？」と問いかけました。高品質な人間のアノテーションを用いることで、LLM に専門家レベルの味覚と判断力でテキストを解釈することを教えられることがわかりました。私たちの独自モデルは、テストしたすべての最先端モデルを情報精度と再現率で上回り、コストはそのごく一部です。

本記事では、公開が許可されたデータサブセットを用いたトレーニングプロセスと結果について説明します。さらに、その結果に基づき、特定の組織的ニーズに合わせて調整されたモデルによる、差別化されたインテリジェンスのビジョンの萌芽について述べます。

最先端モデルの性能

私たちは、投資家の日常業務から抽出した6つの情報フィルタリングタスクでモデルを評価しました。これらのタスク以外にも、同様のパターンを示す内部タスクが多数あります。テストした最先端モデルは、私たちが内部で訓練したモデルと比較して性能が劣っていました。

精度（投資家の基準に従って正しくラベル付けされた文書の割合）を測定しました。分類タスクについては、F1スコアも計算しました。これらの評価結果は、私たちのアプローチの優位性を明確に示しています。

01

金融記事の関連性テスト

まとめると、私たちの研究は、高品質な人間のアノテーションを用いることで、専門家の暗黙知を効果的にLLMに伝達し、特定の金融タスクにおいて最先端モデルを上回る性能を達成できることを示しています。これは金融分野の情報処理に新たな可能性を提供するだけでなく、将来のモデルカスタマイズの方向性を示唆しています。