AIゲートウェイのベンチマーク：GoModel vs LiteLLM vs Portkey vs Bifrost

本記事では、4つのAIゲートウェイのホットパスにおけるランタイムオーバーヘッドを比較し、レイテンシ、スループット、メモリ、CPU、コールドスタート時間、イメージサイズを計測しています。GoModelがほぼ全ての指標で優れており、LiteLLMはリソース消費が大きいことが判明しました。また、ローカルモデルやサーバーレスデプロイにおける軽量ゲートウェイの重要性についても議論しています。