Quantprobe 是一個由 Federico 開發的開源專案，旨在透過最佳化大型語言模型（LLM）在記憶體層次中的位放置，使得在低端消費級硬體上也能執行大規模模型。該專案基於詳盡的實驗，提出了四條可證偽的定律，分別為：旋轉的秩條件性、網路的密集性、可測量的脆弱性以及分層解碼定律。這些定律透過預註冊預測和實際測量得到嚴格驗證。
實驗在一臺2016年的舊式桌上型電腦上進行，配置為GTX 1060 6GB顯示卡、16GB DDR4記憶體和SATA SSD。令人驚訝的是，僅透過最佳化位放置（而非增加硬體投入），就能實現顯著效能提升。例如，在位元組相同的GGUF檔案中，僅因放置不同導致困惑度相差2.25分。記憶體超頻（從2133 MT/s到3000 MT/s）帶來了52%的密集解碼速度提升，預註冊預測值為41%以上，測量值52%完全符合預期。
Quantprobe 工具支援探針量化、深度感知量化、執行和基準測試等功能。使用者可以在30分鐘內對任意GGUF模型進行探針量化，生成深度感知的量化配方。互動式計算器還能預測不同模型在不同硬體上的執行速度和記憶體佔用，幫助使用者規劃最經濟的升級方案。專案還提供了詳細的文件和示例，強調可重複性，所有測量結果均附有日誌和硬體驗證。
這項工作的意義在於，它挑戰了“執行大模型必須依賴昂貴硬體”的傳統觀念。透過智慧地管理位放置，即便是六年前的硬體也能執行110B引數的模型（儘管速度較慢），而混合放置策略則能讓30B模型達到接近實用的速度。對於想在不升級硬體的情況下嘗試更大模型的使用者，quantprobe 提供了一條切實可行的路徑，尤其適合資源受限的環境。