Token 是什么
Token（词元）是模型对文本进行编码和处理的最小单位。模型不直接理解自然语言文字，而是先通过分词器（Tokenizer）将文本拆分为 Token 序列。一个 Token 可能对应一个完整的英文单词（如 “hello”）、一个词根（如 “un” 和 “happy”）或一个中文汉字，具体取决于分词器的实现。
理解 Token 的工作方式对于控制成本和优化提示词至关重要，因为模型的计费、上下文窗口限制和生成速度都以 Token 为计量基准。
如何使用 Token 的知识
在实际开发中，Token 意识帮助开发者做出更精准的决策：
- 成本估算：API 按输入 Token 和输出 Token 分别计费，了解文本的 Token 数可以准确预估每次调用的费用。
- 提示词优化：在有限的上下文窗口内，精简提示词的 Token 消耗，为实际内容留出更多空间。
- 多语言注意：中文文本的 Token 消耗通常显著高于英文——相同语义的中文表述可能消耗 1.5 至 2 倍的 Token。
- 分词器工具：使用供应商提供的分词器库（如 OpenAI 的 tiktoken）在本地精确计算 Token 数，避免依赖粗略估算。
常见误区
- 一个字符不等于一个 Token：英文中平均约 4 个字符对应一个 Token，但这个比例因语言 and 分词器而异。
- 不同模型的 Token 不通用：不同供应商使用不同的分词器，同一段文本在不同模型中可能产生不同数量 of Token。
- 空格和标点也消耗 Token：格式化字符 and 标点符号同样会被编码为 Token，大量空行或装饰性格式会增加不必要的消耗。