TensorSharp：オープンソースのローカルLLM推論エンジン

TensorSharpは、.NET 10とC#で構築された新しいオープンソースのローカルLLM推論エンジンです。GGUFモデル専用に設計されており、コマンドラインツール、ブラウザチャットサーバー、そしてOllamaおよびOpenAI互換のHTTP APIを備えています。

TensorSharpの設計思想は、ユーザーがデータを完全に制御できるようにすることです。すべての推論はローカルハードウェア上で行われ、ラップトップ、ワークステーション、サーバーを問いません。データがマシンから流出することはなく、トークンごとの課金もありません。同じエンジンで、コマンドラインでの簡単なテストから、社内共有チャットボット、本番RESTエンドポイントまで対応できます。

セットアップは非常に簡単です。.NET 10 SDKをインストールした後、数コマンドで利用を開始できます。まずリポジトリをクローンしてビルドし、Hugging Faceからモデルをダウンロードします（推奨はGemma-4-E4B Q8_0）。次に、ハードウェアに応じたバックエンドを選択して実行します。macOSユーザーはggml_metal、Windows/LinuxでNVIDIA GPUを使用する場合はggml_cudaを使用します。UIとAPIが必要な場合はサーバーを起動するだけで、ブラウザチャットが開き、互換性のあるエンドポイントが自動的に提供されます。

TensorSharpの主な利点として、プライバシー（推論がローカルで完結）、コスト（トークン単位の課金なし）、互換性（OllamaとOpenAIのワイヤフォーマットに対応）、ハードウェアサポート（NVIDIA CUDA、AMD/Intel/NVIDIA Vulkan、Apple Silicon Metal/MLX、CPU、自動フォールバック）、最新モデルサポート（Gemma、Qwen、GPT-OSS、Nemotron-H、Mistralなど、ビジョン、オーディオ、推論、ツール呼び出し対応）が挙げられます。

ベンチマークでは、同じGGUFファイルとGPUを使用してllama.cppと比較されています。26B-A4B MoEモデルでは、TensorSharpのプリフィル速度が1.32倍、最初のトークン生成が1.30倍高速でした。12Bモデルでは、すべてのデコードシナリオで勝利または同等（最大1.17倍）でした。E4Bモデルでは、JSONモードデコードが7.7倍高速でした。

TensorSharpは幅広いユーザー層を対象としています。初心者や学生は用語集とFAQから始め、開発者はHTTP APIとC#ライブラリを直接利用し、シニアエンジニアはページングKV、連続バッチ処理、投機的デコードなどの高度な機能を探求できます。マネージャーやCTOはビジネス価値を評価し、営業・マーケティングは機能カタログとベンチマークを活用し、研究者や教授はモデルアーキテクチャと比較ベンチマークを研究できます。