LlamaParse検索ハーネス：AIエージェント向けファイルシステムプリミティブ

LlamaIndexは当初、オープンソースプロジェクトとして、RAGのコアプリミティブ（チャンク分割、埋め込み、インデックス作成、検索）の標準化に注力していました。基本的な質問応答ワークロードでは、その基盤設計は完璧に機能しました。しかし、エンタープライズエージェントはそれを完全に超えてしまっています。

従来のRAGはデータアクセスを静的なワンショット前処理ステップとして扱います。少数のコンテキスト断片を取得し、プロンプトウィンドウに詰め込み、盲目的に最善を期待するだけです。自律エージェントは、曖昧なセマンティック検索バーを通じて非構造化コーパスをナビゲートできません。彼らは、リアルタイムでドキュメントを能動的に調査、検証、トラバースするための決定論的なシステムレベルのユーティリティを必要とします。

本日、LlamaParse Indexを拡張し、ドキュメントトラバーサルのためのファイルシステムプリミティブ、ビジュアルレイアウト保存、マネージドインデックス、パイプライン可観測性を提供する検索ハーネスを発表します。

ファイルシステムプリミティブ

純粋なセマンティック検索は、答えが任意のチャンク境界をまたぐ瞬間に行き詰まります。そのような場合、エージェントにディレクトリをファイルごとにブルートフォースクロールさせようとすると、トークン予算とレイテンシ制約を完全に消耗します。検索ハーネスはこれを解決するために、基礎となるコーパスをエージェントがネイティブに呼び出せる一連のファイルシステムスタイルのツールとして公開します：

• Hybrid Retrieve：ベクトル類似性とキーワード検索、およびアウトオブボックスの再ランキングを組み合わせた高再現率の最初のパスで、エージェントの初期検索空間を即座に絞り込みます。
• List Files：ファイル発見。エージェントがインデックス内のファイルを明示的に一覧表示できるようにし、利用可能なドキュメント構造の明確なマップを提供します。
• File Grep：対象ファイルに対するサーバーサイドの正規表現スキャン。エージェントが特定のシリアル番号、エラーコード、正確なフレーズを特定する必要がある場合、無関係なセマンティックチャンクをロードするためにトークンを浪費しません。そのファイルの解析テキストに対して直接正規表現クエリを実行します。
• File Read：チャンクの断片化を克服。トップkチャンクが文の途中でコンテキストを切った場合、エージェントは直接読み取りAPIを呼び出して周囲のファイルコンテキストを取得し、欠落データをシームレスに回復します。

ビジュアルレイアウト保存

テキスト抽出だけでは不十分なドキュメントのために、解析時にページスクリーンショットをキャプチャし、それをソースチャンクに直接リンクします。財務テーブル、規制フォーム、アーキテクチャ図など、レイアウトが構造的意味を持つドキュメントは、生のテキスト文字列に平坦化されると重要なコンテキストを失います。取得したテキストが曖昧さを解決するのに十分でない場合、エージェントはLlamaParseが処理した実際のレンダリングページを取得できます。これにより、エージェントの推論はソースのビジュアルレイアウトに直接基づき、密度の高いテーブルやマルチカラムドキュメントでの幻覚を防ぎます。

マネージドインフラストラクチャ

本番インデックスパイプラインのセットアップは、アプリケーションコードを1行も書く前に多くの決定を下すことを意味します：データソース、埋め込みモデル、ベクトルストア、同期ロジック、検索設定。そして実行には、レート制限、API障害、診断が難しいパイプラインの中断に対処する必要があります。LlamaParse Indexは現在、このインフラストラクチャ層をネイティブに自動化します。ドキュメントを接続するだけで、プラットフォームは最適化された本番グレードのベースラインを自動的にプロビジョニングし、手動設定の負担をなくしてアプリケーションに集中できるようにします。

インクリメンタル同期：どのファイルが変更されたかを追跡し、それらのファイルのみを処理します。1000ドキュメントのフォルダに50ファイルが追加された場合、次回の同期では50ファイルのみがパイプラインを実行します。解析コストとレイテンシはフォルダサイズではなく、実際のドキュメントアクティビティに応じてスケーリングされます。

データポータビリティ：独自のベクトルストアや埋め込みモデルを持ち込みたい場合、解析出力はダウンロード可能です。

パイプライン可観測性

本番検索パイプラインは明白でない方法で失敗します：同期が完了しても、インデックスに入るべきチャンクが入っていない。あるステージが正常と報告しても、その後のステージが静かに停止している。検索品質が低下する頃には、障害は実際の発生から数ステップ離れています。LlamaParse Indexには、ステージごとのパイプライン追跡がネイティブに組み込まれています。パイプラインの各ステージには独自のステータスとファイルカウントがあります。同期が完了してもファイルがインデックスから欠落している場合、ステージカウントはどこで停止したかを示します。インジェスト障害かワークフロー障害かがわかり、何が起こったかを再構築するのではなく修正できます。

統合と可用性

検索ハーネスとその他のアップデートは、現在すべての有料ティアでベータ版として利用可能です。すべてのファイルシステムツールは軽量なAPIスキーマとして公開されており、既存のLLMオーケストレーションフレームワークやツール呼び出しループに直接配線できます。

👉 ドキュメントに飛び込んでAPI仕様を確認するか、LlamaIndexダッシュボードから最初のマネージドインデックスを直接初期化してください。