再见，感谢所有上下文

要点

• LLM存在U形上下文问题，模型对上下文开头和结尾信息利用最好，中间部分易被忽略。
• 该问题是Transformer架构的结构性属性，而非训练缺陷，因此长期存在。
• 五种缓解技术：精选上下文、关键信息置于边缘、短会话、外部化重要信息、验证代理输出。
• 更大的上下文窗口并不能自动解决U形问题，反而可能扩大中间盲区。