Show HN: Proxy Block-CAGE、新しいスパースブロックアテンション

本記事では、長いコンテキストのプリフィル向けスパースアテンションプロトタイプ「Proxy Block-CAGE」を紹介します。Q/K/Vをブロックに分割し、プールされた要約を使用してキーブロックを選択し、選択したブロック内でのみ正確なアテンションを計算します。小さなTransformerで16Kトークンにおいて、密なアテンションと比較して2.61倍の高速化を達成し、密度はわずか0.39%でありながら最終トークンの一致を100%維持しました。遺伝的アルゴリズムから数学的最適化への進化について詳述しています。