Show HN: GenAIのコストとエンドポイントの脆弱性を追跡、アプリチームの負担を軽減

LLMIntelは、GenAIアプリケーションチーム向けの監視ダッシュボードで、コスト追跡とエンドポイントの健全性管理を簡素化します。リアルタイムデータにより、モデルの使用状況、価格差、廃止リスクを可視化し、問題が発生する前に対応できるようにします。

デモデータは1週間の実際のトラフィックをシミュレートしており、Checkout Assistant、Support Copilot、および未割り当てのアプリケーションの3つのアプリをカバーしています。ダッシュボードは、現在6つのモデルが稼働しており、そのうちmeta.llama3-1-405b-instruct-v1:0は21日後に廃止され、212.40ドルのリスク支出が発生することを示しています。過去30日間の累計支出は1,284.06ドル、リクエスト数は41.2万、総トークン数は9,600万で、前回比それぞれ7.5%と11%の増加です。

コスト面では、詳細なブレンドレート分析を提供します。最も安いモデルはgpt-5-nano-2025-08-07で、入力100万トークンあたり0.05ドルです。キャッシュメカニズムにより、約48.74ドルが節約され、2,700万トークンがキャッシュされました。特に、claude-sonnet-4-5-20250929などのモデルでは、出力長がベースライン比38%増加し、隠れたコスト上昇を招いているため、プロンプトやmax_tokens設定の確認を推奨します。

支出は、環境、アプリケーション、タグなどの次元で分解されています。本番環境が総支出の88%（1,131.66ドル）を占め、そのうちCheckout Assistantが最も多く（742.11ドル）です。カスタムタグ分析では、「checkout」機能関連の支出が47%、「growth」チームが60%を占めています。モデル別ビューでは、各モデルの入力/出力トークン数、キャッシュ使用量、ブレンドレートなどの詳細データが表示されます。

最後に、最適化セクションでは代替モデルの提案が行われています。例えば、gpt-5-2025-08-07はコストが80%低いGPT-5 miniに置き換え可能であり、廃止予定のllamaモデルは、性能が高くコンテキスト長が2.5倍のClaude Sonnet 4.5に移行できます。LLMIntelは、チームが手動で監視することなく、GenAIのコストと安定性を積極的に管理できるようにすることを目的としています。