TensorSharp：開源的本地LLM推理引擎

TensorSharp 是一個全新的開源本地 LLM 推理引擎，基於 .NET 10 和 C# 構建，專為 GGUF 模型設計。它提供了命令列工具、瀏覽器聊天伺服器，並內建了相容 Ollama 和 OpenAI 的 HTTP API，方便程式化訪問。

TensorSharp 的設計理念是讓使用者完全掌控自己的資料。所有推理都在本地硬體上執行，可以是筆記型電腦、工作站或伺服器。資料不會離開機器，也沒有按 token 計費的限制。同樣的引擎既能用於快速的命令列測試，也能支撐內部共享的聊天機器人，甚至可以作為生產環境的 REST 端點。

快速入門非常簡單。在安裝 .NET 10 SDK 後，只需幾個命令就能開始使用。首先克隆倉庫並構建專案，然後從 Hugging Face 下載模型（推薦 Gemma-4-E4B Q8_0 作為起點）。接著，根據硬體選擇合適的後端執行：macOS 使用者使用 ggml_metal，Windows/Linux 加 NVIDIA GPU 使用者使用 ggml_cuda。如果需要 UI 和 API，啟動伺服器即可在瀏覽器中開啟聊天介面，同時自動提供相容端點。

TensorSharp 具備多項突出優勢。隱私方面，推理完全在本地完成，提示詞、文件和影像從不離開機器。成本上，沒有按 token 計費，只有硬體成本，可以儘可能多地執行。相容性方面，它支援 Ollama 和 OpenAI 的通訊格式，現有工具和 SDK 可以無縫切換。硬體支援廣泛，包括 NVIDIA CUDA、AMD/Intel/NVIDIA Vulkan、Apple Silicon Metal/MLX，以及純 CPU 模式，並有自動回退機制。現代模型支援包括 Gemma、Qwen、GPT-OSS、Nemotron-H、Mistral 等，並支援視覺、音訊、推理和工具呼叫。

TensorSharp 與業內知名的 llama.cpp 進行了基準測試比較。在相同的 GGUF 檔案和相同的 GPU 上，兩者互有勝負：在 26B-A4B MoE 模型上，TensorSharp 的預填充速度是 1.32 倍，首個 token 生成快 1.30 倍；在 12B 模型上，每個解碼場景均勝出或持平（最高 1.17 倍）；而在 E4B 模型上，JSON 模式解碼速度達到 7.7 倍。

TensorSharp 面向廣泛的使用者群體。初學者和學生可以從術語表和常見問題入手，開發者可以直接使用 HTTP API 和 C# 庫，高階工程師可以探索高階特性如分頁 KV、連續批處理和推測解碼，管理人員可以評估其商業價值，銷售和市場營銷人員可以利用特性目錄和基準測試進行定位，研究人員和教授則可以研究模型架構和對比基準。