Outlinesによる構造化言語モデル生成

Outlinesは、大規模言語モデル（LLM）の構造化出力生成に決定論的な確実性をもたらすオープンソースライブラリです。通常、LLMにJSONのような構造化された形式を出力させるには、注意深いプロンプト作成とある程度の運が必要でした。しかし、Outlinesは推論時に「構文的に不正な」トークンをマスクすることで、出力が事前定義されたルールに従うことを保証し、幻覚やフォーマットエラーを防ぎます。

本記事では、3つのPythonユースケースを通じてOutlinesの機能を紹介します。まず、感情分析のための多肢選択分類では、generate.choice()関数を使用して、モデルに「ポジティブ」「ネガティブ」「ニュートラル」などの事前定義された選択肢から1つを強制的に選ばせます。Hugging Faceのtransformersライブラリでモデルをロードし、outlines.from_transformers()でラップした後、Literalオブジェクトを渡して出力を制約します。

2つ目のユースケースは、Pydanticモデルに準拠したJSONオブジェクトの生成です。BaseModelサブクラス（例えば、名前、説明、年齢を持つキャラクターモデル）を定義することで、Outlinesはその構造に厳密に従ったJSONを出力します。これにより、パース可能でクリーンなJSONデータを取得できます。

3つ目のユースケースでは、REST API向けの純粋なJSON文字列を生成します。2つ目と似ていますが、出力は生の文字列であり、json.loads()で正常にパースできることが保証されます。末尾のカンマなどの問題が発生しないため、APIのデータ更新に適しています。

まとめると、Outlinesは正規表現、文脈自由文法、またはPydanticモデルを有限状態機械にコンパイルし、生成中にトークンをリアルタイムでフィルタリングします。これにより、LLMを「おしゃべり好きなチャットボット」から信頼性の高い「構造化出力マシン」に変えます。データ抽出や自動レポート生成など、決定論的な出力が必要なあらゆるシナリオに有用です。著者のIván Palomares Carrascosaは、AI、機械学習、深層学習、LLMの分野でリーダー、執筆者、スピーカー、アドバイザーとして活躍しています。