Ollama在Apple Silicon上通過MLX實現最高性能
Ollama的MLX引擎更新後,在Apple Silicon上實現了最高性能。通過更充分利用蘋果統一內存和Metal支持的MLX框架,模型輸出質量更高,響應更快,內存佔用更低。新支持NVFP4格式,輸出速度提升高達20%,並引入快照系統優化代理工作流。
- Ollama MLX引擎更新,支持NVFP4格式,量化質量損失減半。
- 輸出速度提升高達20%,得益於融合的Metal內核和優化採樣。
Official local AI model runtime blog; confirm reuse terms before full body display.
Ollama的MLX引擎更新後,在Apple Silicon上實現了最高性能。通過更充分利用蘋果統一內存和Metal支持的MLX框架,模型輸出質量更高,響應更快,內存佔用更低。新支持NVFP4格式,輸出速度提升高達20%,並引入快照系統優化代理工作流。
Ollama 0.30 現已發佈,通過 llama.cpp 帶來更優性能和 GGUF 模型兼容性,增強了 Apple Silicon 上的 MLX 引擎,支持更多硬件和模型。
NVIDIA Nemotron 3 Ultra 是一款5500億總參數(550億活躍參數)的開放模型,專為長時間運行的代理驅動工作流設計,支持百萬token上下文,並採用NVFP4優化,在代理任務上具有領先的準確性和成本效益。
OpenJarvis 是一個開源框架,用於構建運行在本地硬件上的個人 AI 代理。由斯坦福大學 Hazy Research 和 Scaling Intelligence 實驗室開發,v1.0 版本現已集成 Ollama,實現本地優先、雲端可選,並跟蹤能耗、成本和延遲。
Ollama 宣佈推出基於 Apple MLX 框架的預覽版,針對 Apple Silicon 性能大幅優化,支持 NVFP4 精度和智能緩存,顯著提升預填和解碼速度。
通過Ollama 0.17,只需一條命令即可在本地硬件上部署OpenClaw個人AI助手,支持管理郵件、日曆和通過消息應用執行任務。本文詳細介紹了安裝步驟、模型選擇和安全注意事項。
Ollama 現已支持在 Claude Code 中使用子代理和網絡搜索功能,無需額外配置。子代理可並行執行文件搜索、代碼探索和研究等任務,而網絡搜索則內置於 Anthropic 兼容層,為模型提供實時信息。
OpenClaw是一款個人AI助手,能將你的消息應用連接到本地AI編程代理,所有操作都在你自己的設備上運行,確保隱私安全。它支持WhatsApp、Telegram、Slack、Discord、iMessage等服務,並通過Ollama集成本地或雲端模型,推薦使用至少64k上下文長度的模型。
Ollama 推出新命令 `ollama launch`,可自動配置並運行 Claude Code、OpenCode、Codex 等編碼工具,支持本地或雲端模型,無需手動設置環境變量或配置文件。
Ollama v0.14.0 及以上版本現兼容 Anthropic Messages API,使 Claude Code 等工具能與開源模型配合使用。用户可在本地或通過 ollama.com 連接雲端模型運行。
Ollama宣佈支持OpenAI的Codex CLI,允許用户通過本地或雲端開源模型運行Codex,實現代碼讀取、修改和執行。
Ollama 與 OpenAI 和 ROOST 合作,推出基於 Apache 2.0 許可的 gpt-oss-safeguard 推理模型,用於安全分類任務。模型提供 20B 和 120B 兩種參數規模,支持自定義安全策略、可解釋推理過程以及可配置的推理努力,能夠靈活應用於內容過濾、標註等場景。
MiniMax M2 現已通過 Ollama 雲平台提供。該模型擁有 100 億激活參數(總計 2300 億),在通用智能、編程和智能體任務上表現出色,在開源模型中綜合評分排名第一。文章還介紹了在 VS Code、Zed 和 Droid 等工具中的使用方法。