一鍵載入任意LLM，支援400萬上下文視窗
Hugston團隊釋出了概念驗證，可在消費級硬體上以高達400萬token的上下文視窗執行任何GGUF格式的LLM，包括LFM 350B、Qwen 0.8B等模型，速度可達6-80 tps。未來目標是實現1000萬上下文視窗，支撐TB級RAG應用。
一鍵載入任意LLM，支援400萬上下文視窗
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
Hugston團隊釋出了概念驗證，可在消費級硬體上以高達400萬token的上下文視窗執行任何GGUF格式的LLM，包括LFM 350B、Qwen 0.8B等模型，速度可達6-80 tps。未來目標是實現1000萬上下文視窗，支撐TB級RAG應用。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。