TensorSharp：开源的本地LLM推理引擎

TensorSharp 是一个全新的开源本地 LLM 推理引擎，基于 .NET 10 和 C# 构建，专为 GGUF 模型设计。它提供了命令行工具、浏览器聊天服务器，并内置了兼容 Ollama 和 OpenAI 的 HTTP API，方便程序化访问。

TensorSharp 的设计理念是让用户完全掌控自己的数据。所有推理都在本地硬件上运行，可以是笔记本电脑、工作站或服务器。数据不会离开机器，也没有按 token 计费的限制。同样的引擎既能用于快速的命令行测试，也能支撑内部共享的聊天机器人，甚至可以作为生产环境的 REST 端点。

快速入门非常简单。在安装 .NET 10 SDK 后，只需几个命令就能开始使用。首先克隆仓库并构建项目，然后从 Hugging Face 下载模型（推荐 Gemma-4-E4B Q8_0 作为起点）。接着，根据硬件选择合适的后端运行：macOS 用户使用 ggml_metal，Windows/Linux 加 NVIDIA GPU 用户使用 ggml_cuda。如果需要 UI 和 API，启动服务器即可在浏览器中打开聊天界面，同时自动提供兼容端点。

TensorSharp 具备多项突出优势。隐私方面，推理完全在本地完成，提示词、文档和图像从不离开机器。成本上，没有按 token 计费，只有硬件成本，可以尽可能多地运行。兼容性方面，它支持 Ollama 和 OpenAI 的通信格式，现有工具和 SDK 可以无缝切换。硬件支持广泛，包括 NVIDIA CUDA、AMD/Intel/NVIDIA Vulkan、Apple Silicon Metal/MLX，以及纯 CPU 模式，并有自动回退机制。现代模型支持包括 Gemma、Qwen、GPT-OSS、Nemotron-H、Mistral 等，并支持视觉、音频、推理和工具调用。

TensorSharp 与业内知名的 llama.cpp 进行了基准测试比较。在相同的 GGUF 文件和相同的 GPU 上，两者互有胜负：在 26B-A4B MoE 模型上，TensorSharp 的预填充速度是 1.32 倍，首个 token 生成快 1.30 倍；在 12B 模型上，每个解码场景均胜出或持平（最高 1.17 倍）；而在 E4B 模型上，JSON 模式解码速度达到 7.7 倍。

TensorSharp 面向广泛的用户群体。初学者和学生可以从术语表和常见问题入手，开发者可以直接使用 HTTP API 和 C# 库，高级工程师可以探索高级特性如分页 KV、连续批处理和推测解码，管理人员可以评估其商业价值，销售和市场营销人员可以利用特性目录和基准测试进行定位，研究人员和教授则可以研究模型架构和对比基准。