あらゆるLLMを4Mコンテキストで3クリックでロード/実行

Hugstonチームは、コンシューマーハードウェア上でGGUF形式のあらゆるLLMを400万トークンのコンテキストウィンドウで実行する概念実証を発表。LFM 350B、Qwen 0.8B、35B Q4などのモデルをテストし、6～80 tpsの速度を達成。将来的には128GB RAMで1000万コンテキストを目指し、テラバイト規模のRAGを実現する。