さようなら、コンテキストに感謝を込めて

要点

• LLMはコンテキストの先頭と末尾を最もよく利用し、中間部分は無視されるU字型のパターンを示す。
• この問題はTransformerアーキテクチャの構造的性質であり、トレーニングの欠陥ではないため、モデルやコンテキストサイズを問わず持続する。
• 5つの緩和テクニック：コンテキストを厳選する、重要情報を端に配置する、短いセッションを使う、重要なデータを外部化する、エージェントの出力を検証する。
• より大きなコンテキストウィンドウは、情報が失われる中間ゾーンを広げることで問題を悪化させる可能性がある。