一鍵加載任意LLM，支持400萬上下文窗口
Hugston團隊發佈了概念驗證，可在消費級硬件上以高達400萬token的上下文窗口運行任何GGUF格式的LLM，包括LFM 350B、Qwen 0.8B等模型，速度可達6-80 tps。未來目標是實現1000萬上下文窗口，支撐TB級RAG應用。
一鍵加載任意LLM，支持400萬上下文窗口
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
Hugston團隊發佈了概念驗證，可在消費級硬件上以高達400萬token的上下文窗口運行任何GGUF格式的LLM，包括LFM 350B、Qwen 0.8B等模型，速度可達6-80 tps。未來目標是實現1000萬上下文窗口，支撐TB級RAG應用。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。