TensorSharp：開源的本地LLM推理引擎

TensorSharp 是一個全新的開源本地 LLM 推理引擎，基於 .NET 10 和 C# 構建，專為 GGUF 模型設計。它提供了命令行工具、瀏覽器聊天服務器，並內置了兼容 Ollama 和 OpenAI 的 HTTP API，方便程序化訪問。

TensorSharp 的設計理念是讓用户完全掌控自己的數據。所有推理都在本地硬件上運行，可以是筆記本電腦、工作站或服務器。數據不會離開機器，也沒有按 token 計費的限制。同樣的引擎既能用於快速的命令行測試，也能支撐內部共享的聊天機器人，甚至可以作為生產環境的 REST 端點。

快速入門非常簡單。在安裝 .NET 10 SDK 後，只需幾個命令就能開始使用。首先克隆倉庫並構建項目，然後從 Hugging Face 下載模型（推薦 Gemma-4-E4B Q8_0 作為起點）。接着，根據硬件選擇合適的後端運行：macOS 用户使用 ggml_metal，Windows/Linux 加 NVIDIA GPU 用户使用 ggml_cuda。如果需要 UI 和 API，啓動服務器即可在瀏覽器中打開聊天界面，同時自動提供兼容端點。

TensorSharp 具備多項突出優勢。隱私方面，推理完全在本地完成，提示詞、文檔和圖像從不離開機器。成本上，沒有按 token 計費，只有硬件成本，可以儘可能多地運行。兼容性方面，它支持 Ollama 和 OpenAI 的通信格式，現有工具和 SDK 可以無縫切換。硬件支持廣泛，包括 NVIDIA CUDA、AMD/Intel/NVIDIA Vulkan、Apple Silicon Metal/MLX，以及純 CPU 模式，並有自動回退機制。現代模型支持包括 Gemma、Qwen、GPT-OSS、Nemotron-H、Mistral 等，並支持視覺、音頻、推理和工具調用。

TensorSharp 與業內知名的 llama.cpp 進行了基準測試比較。在相同的 GGUF 文件和相同的 GPU 上，兩者互有勝負：在 26B-A4B MoE 模型上，TensorSharp 的預填充速度是 1.32 倍，首個 token 生成快 1.30 倍；在 12B 模型上，每個解碼場景均勝出或持平（最高 1.17 倍）；而在 E4B 模型上，JSON 模式解碼速度達到 7.7 倍。

TensorSharp 面向廣泛的用户羣體。初學者和學生可以從術語表和常見問題入手，開發者可以直接使用 HTTP API 和 C# 庫，高級工程師可以探索高級特性如分頁 KV、連續批處理和推測解碼，管理人員可以評估其商業價值，銷售和市場營銷人員可以利用特性目錄和基準測試進行定位，研究人員和教授則可以研究模型架構和對比基準。