Context Window 是什么
Context Window 指大语言模型在一次请求中能够同时”看到”的文本长度上限，以 Token 为单位。它包括输入提示词、对话历史、注入的参考文档以及模型生成的输出。例如，一个 128K 上下文窗口的模型，其输入与输出的 Token 总和不能超过 128,000。
上下文窗口的大小直接影响模型的实用性：窗口越大，模型能参考的背景信息越多，在长文档处理和多轮对话中的表现就越连贯。
为什么 Context Window 很重要
理解上下文窗口对构建AI应用至关重要：
- 对话连续性：窗口容量决定了多轮对话中能保留多少历史消息，直接影响模型是否”记得”之前的讨论。
- RAG 效果：在检索增强生成中，窗口大小限制了一次注入的参考文档数量，过小的窗口迫使开发者在检索精度和覆盖面之间取舍。
- 成本控制：更大的上下文窗口意味着每次请求处理更多 Token，直接推高 API 费用。
常见误区
- 窗口更大不等于效果更好：研究显示，当上下文长度极大时，模型对中间位置的信息关注度会下降（”lost in the middle” 现象），关键信息应尽量放在开头或结尾。
- 标称窗口不等于有效窗口：模型在接近窗口上限时，推理质量通常会下降；实际使用建议控制在标称值的 70%-80%。
- 上下文窗口不是记忆：窗口中的内容是临时性的，不会持久存储——每次新请求都从零开始，除非显式传入历史。