RuleChef：大規模言語モデルのタスク知識を人間が編集可能なルールに変換
RuleChefは、テキスト分類、固有表現抽出（NER）、関係抽出などのNLPタスク向けに、大規模言語モデル（LLM）を使用して実行可能なルールを生成するフレームワークです。タスク記述とラベル付き例に基づいてルールを生成し、追加の例や人間のフィードバックによって反復的に改善します。LLMは学習時にのみ使用され、高速で決定論的かつ検査可能なルールシステムを実現します。分類タスクとNERタスクでの予備評価が行われ、Apache 2.0ライセンスでオープンソース公開されています。
近年、大規模言語モデル（LLM）は自然言語処理において大きな進歩を遂げましたが、そのブラックボックス的な性質は、説明可能性や決定論的な動作が求められる用途では課題となります。この問題に対処するため、Ádám KovácsらはRuleChefフレームワークを提案し、オープンソースとして公開しました。
RuleChefは、LLMを使用してNLPタスク（テキスト分類、固有表現抽出、関係抽出など）のための実行可能なルールを生成します。プロセスは、タスク記述とラベル付き例から始まり、LLMが初期ルールセットを合成します。その後、ホールドアウトセットでルールを評価し、失敗ケースを特定して自動的にパッチを生成する反復的な改善サイクルが行われます。また、人間の専門家が既存のルールをレビューし、フィードバックを提供することで品質をさらに向上させることができます。
特筆すべき機能として、RuleChefは他のモデルからルールをブートストラップする能力があります。観測された入出力ペアから、モデルの動作パターンを抽出しルールに変換します。これにより、既存のモデルの知識を透明なルールシステムに移行できます。
予備評価では、テキスト分類とNERタスクで競争力のある結果が得られました。ルールベースのシステムは、LLMに比べて高速で、決定論的であり、完全に検査可能です。これにより、医療、金融、法律など説明責任が重要な分野での応用が期待されます。RuleChefはApache 2.0ライセンスで公開されており、研究と実用の両方に活用できます。