一键加载任意LLM，支持400万上下文窗口

要点

• Hugston团队展示概念验证：任何GGUF格式的LLM都能在消费硬件上以400万上下文运行。
• 测试模型包括LFM 350B、Qwen 0.8B和35B Q4，速度在6-80 tps之间。
• 主要用途：无上下文限制的大文档RAG处理，支持所有模型，且能保持会话记忆。
• 下一步目标：在128GB RAM上实现1000万上下文窗口，秒级处理TB级RAG。