ソフトウェア運用の分野では、大規模言語モデル（LLM）への関心が高まっていますが、既存の研究では低品質なデータ、断片的な知識、不十分な学習のために、効率的で効果的なエンドツーエンドのインテリジェント運用が実現されていません。この問題を解決するために、研究チームはOpsLLMを提案しました。OpsLLMはソフトウェア運用に特化したドメイン固有のLLMであり、知識ベースの質問応答（QA）と根本原因分析（RCA）の両方をサポートします。本研究では、ソフトウェア運用ドメイン向けにLLMを構築するための詳細なワークフローを公開しています。
OpsLLMの構築プロセスは3段階で構成されています。まず、Human-in-the-Loopメカニズムを導入し、大量の運用生データから高品質なデータを厳選してファインチューニング用データセットを構築します。このステップにより、モデルが使用するデータの関連性と正確性が高まり、低品質データによる悪影響を防ぎます。次に、そのデータを用いて教師ありファインチューニングを実施し、ベースモデルを取得します。これにより、モデルは運用ドメインの知識とパターンを初步的に学習します。最後に、強化学習段階でドメインプロセス報酬モデル（DPRM）を導入します。DPRMは、RCAタスクにおけるファインチューニング済みモデルの精度と信頼性を最適化するために設計されており、正しい分析プロセスに報酬を与えることで、モデルがより効果的に因果推論を行うよう導きます。
実験は、多様な難易度のQAおよびRCAタスクで実施されました。結果は、OpsLLMが注入された運用ドメイン知識を効果的に学習し、QAタスクで0.2%～5.7%、RCAタスクで2.7%～70.3%の精度向上を達成し、既存のオープンソースおよびクローズドソースのLLMを凌駕することを示しています。特にRCAタスクでの改善幅は顕著であり、このモデルの実用性を裏付けています。さらに、OpsLLMは強い転移可能性を示し、さまざまな運用環境やタスクに適応できることが確認されました。
研究チームは、この分野の発展を促進するため、7B、14B、32Bパラメータの3バージョンのOpsLLMと、15Kのファインチューニングデータセットをオープンソースとして公開する予定です。これにより、他の研究者や企業が同様のシステムを構築する際のハードルが大幅に下がり、ソフトウェア運用のインテリジェント化が加速することが期待されます。OpsLLMは、現在の運用上の課題に対する効果的な解決策を提供するだけでなく、将来のより高度なインテリジェント運用システムの基盤を築くものです。