Liftを使用して研究PDFを構造化JSONに変換：制御されたスキーマ誘導フィールドレベルの評価

このチュートリアルでは、Liftを中心に完全なPDFから構造化データへの抽出ワークフローを構築し、制御された評価に焦点を当てます。まず、Colab互換のGPU環境を準備し、利用可能なハードウェアに適した精度モードを選択します。4ビットNF4量子化によりモデルロードをパッチし、16 GB GPUでもLiftバックエンドが確実に動作するようにします。その後、意図的なディストラクタ（検証とテストの指標の曖昧さ、ベースラインと提案モデルの比較、コードリリースの欠落、ブール型の最先端主張など）を含む複数ページの合成研究レポートを生成します。これにより、モデルが文書レイアウトからタイトル、著者、データセット、指標、ハイパーパラメータ、制限事項、リポジトリリンクを復元する必要があるスキーマ誘導抽出の現実的なテストベッドが提供されます。

実行環境の設定では、コーパスサイズ、精度モード、プレビューレンダリング、オプションの実PDF抽出などの主要な実行パラメータを定義し、PDF生成、レンダリング、プロット、およびLiftのHugging Faceバックエンドに必要な依存関係をインストールします。Pillowの固定ロジックは、新しいPillowビルドがtorchvisionとtransformersを介して下流のインポートを破壊する可能性があるColabの互換性問題を防ぐために重要です。

Lift 4ビットバックエンドのロードでは、利用可能なCUDA GPUを検出し、VRAM使用量を推定し、全精度と4ビットNF4の間で選択することで推論バックエンドを準備します。4ビットパッチは、BitsAndBytes量子化設定を互換性のあるTransformersモデルローダーに注入し、モデルがT4やL4などの小さなGPUに適合できるようにします。次に、再利用可能なInferenceManagerを初期化し、ドキュメントごとにモデルを再ロードすることを避け、バッチ処理に実用的な抽出パイプラインを実現します。

合成コーパスの構築では、構造化メタデータを含む慎重に制御された機械学習研究レポートの小さなセットを定義します。各ドキュメントには、著者、データセット、ベンチマーク指標、ハイパーパラメータ、モデルサイズ、コードの可用性、制限事項、最先端主張などの現実的なフィールドが含まれます。具体的には、SolarNet（衛星画像土地被覆分類）、GraphMoE（分子特性予測）、AcoustiFormer（環境音分類）の3つの例があります。ground_truth関数は、同じソースメタデータを抽出スキーマが期待する正確なJSON構造に再形成し、評価のための正確なリファレンスを提供します。

複数ページのPDFレポートのレンダリングでは、ReportLabを使用して現実的なレイアウトを生成し、ページ分割により指標が論理的に分離されるようにします。チュートリアルでは、実際のarXiv PDFから抽出を実行し、異なる精度モードでのパフォーマンスを比較する方法も示します。全体のワークフローは、生のモデル出力だけでなく、フィールドレベルのスコアリングと知識ベースのアセンブリを通じて反復可能なベンチマークを提供します。