LangSmithは、LLMアプリケーションの回帰テスト体験を大幅に改善しました。これにより、AIエンジニアは迅速かつ確実に評価と反復を行うことができます。効率的なテストプロセスは、通常、入力データセット（オプションで期待される出力を含む）の設定と評価基準の定義から始まり、異なるプロンプト、モデル、認知アーキテクチャを評価できるようにします。
従来のソフトウェアテストとは異なり、AIアプリケーションは評価データセットで完璧なスコアを達成できない場合があります。この違いは、2つの重要なニーズを生み出します。第一に、パフォーマンスが確実に向上していることを確認するために、時間の経過に伴うテスト結果の追跡が必要です。第二に、2つ以上の実行間の個々のデータポイントを比較して、モデルが以前正解していたデータポイントを間違えるようになった（またはその逆）を確認できる必要があります。OpenAIのJason Wei氏は、優れたAI研究者は手動で大量のデータを検査し、そのためのインフラを構築すると述べています。LangSmithはこの考えに基づき、回帰テストフローを強化しました。
新しい機能は3つの柱で構成されています。第一に、比較ビューでは複数の実験（少なくとも2つ、通常3〜4つ）を選択し、1つの画面ですべての結果を同時に表示できます。第二に、表示オプションにより、概要、詳細テキスト、レイテンシなど、必要な情報に応じて表示を調整できます。第三に、最も重要な点として、ベースライン実行を設定し、評価メトリクスに基づいて増減したデータポイントを自動的に緑または赤でハイライトします。
さらに、列のトグルを使用して変更されたデータポイントのみにフィルタリングし、関心のある行を展開して各実行の詳細を確認できます。これにより、複数の評価実行にわたるデータ探索が容易になり、迅速な反復が可能になります。LangSmithチームは、比較をさらに容易にする追加機能を近日中にリリースする予定です。