再見，感謝所有上下文

要點

• LLM存在U形上下文問題，模型對上下文開頭和結尾資訊利用最好，中間部分易被忽略。
• 該問題是Transformer架構的結構性屬性，而非訓練缺陷，因此長期存在。
• 五種緩解技術：精選上下文、關鍵資訊置於邊緣、短會話、外部化重要資訊、驗證代理輸出。
• 更大的上下文視窗並不能自動解決U形問題，反而可能擴大中間盲區。