HN に投稿: 5090 に最適なローカル LLM セットアップ（llama.cpp フォーク + turboquant）

要点

• llama.cpp の TurboQuant フォークと YaRN スケーリングを使用し、RTX 5090 上で Qwen3.6-35B-A3B-Q6_K モデルを 450K コンテキストで実行。
• KV キャッシュを 3 ビット（turbo3）に圧縮し、YaRN でネイティブの 262K を超えて RoPE を拡張することで 450K コンテキストを実現するが、パープレキシティと検索精度の低下が伴う。
• 構成スクリプト、サーバー起動引数、およびオンデマンドで GPU メモリを解放する Go ベースの VRAM ライフサイクルマネージャを提供。
• ビジョンプロジェクターを介した画像入力（マルチモーダル）をサポートするが、WebP 形式には対応していない。