Quantprobe 是一個由 Federico 開發的開源項目，旨在通過優化大型語言模型（LLM）在內存層次中的位放置，使得在低端消費級硬件上也能運行大規模模型。該項目基於詳盡的實驗，提出了四條可證偽的定律，分別為：旋轉的秩條件性、網絡的密集性、可測量的脆弱性以及分層解碼定律。這些定律通過預註冊預測和實際測量得到嚴格驗證。
實驗在一台2016年的舊式台式機上進行，配置為GTX 1060 6GB顯卡、16GB DDR4內存和SATA SSD。令人驚訝的是，僅通過優化位放置（而非增加硬件投入），就能實現顯著性能提升。例如，在字節相同的GGUF文件中，僅因放置不同導致困惑度相差2.25分。內存超頻（從2133 MT/s到3000 MT/s）帶來了52%的密集解碼速度提升，預註冊預測值為41%以上，測量值52%完全符合預期。
Quantprobe 工具支持探針量化、深度感知量化、運行和基準測試等功能。用户可以在30分鐘內對任意GGUF模型進行探針量化，生成深度感知的量化配方。交互式計算器還能預測不同模型在不同硬件上的運行速度和內存佔用，幫助用户規劃最經濟的升級方案。項目還提供了詳細的文檔和示例，強調可重複性，所有測量結果均附有日誌和硬體驗證。
這項工作的意義在於，它挑戰了“運行大模型必須依賴昂貴硬件”的傳統觀念。通過智能地管理位放置，即便是六年前的硬件也能運行110B參數的模型（儘管速度較慢），而混合放置策略則能讓30B模型達到接近實用的速度。對於想在不升級硬件的情況下嘗試更大模型的用户，quantprobe 提供了一條切實可行的路徑，尤其適合資源受限的環境。