Show HN: Proxy Block-CAGE，一种新的稀疏块注意力机制

本文介绍Proxy Block-CAGE，一种用于长上下文预填充的稀疏注意力原型。通过将Q/K/V分块，使用池化摘要选择关键块，仅对选定块计算精确注意力。在小型字符级Transformer上，16K上下文下比密集注意力快2.61倍，仅使用0.39%的密集注意力容量，且保持100%最终token一致。文章详细阐述了从遗传算法到数学优化的演变过程。