AI的token和上下文窗口是什么？

token长什么样

语言模型读的不是字母，也不是完整的词。分词器（tokenizer）先按固定词表把文本切成片段，每个片段变成一个数字，模型从头到尾只看得到这些数字。

下面的例子用 OpenAI 开源的分词库 tiktoken 计数，编码为 o200k_base。其他模型用的分词器不同，计数会有差别，但规律相似。

常见词通常是单个 token，一般连前面的空格一起算。生僻词或长词会被拆开。数字和日期的切法与它们的含义并不对应，这是模型算错数的原因之一。而 strawberry 是以三块的形式送进去的，所以模型从来没有直接看到过里面有几个字母 r。

为什么模型用子词token

如果词表里全是完整的词，会大得惊人，而且仍然装不下新词、人名和错别字。如果词表只有单个字符，每段文字都会变得很长。子词 token 是两者之间的折中。

如今大多数分词器使用字节对编码（byte pair encoding，BPE）或与它相近的方法：从单个字节或字符出发，不断把训练文本中出现最频繁的相邻一对合并成新的 token。合并很多轮后，高频词变成单个 token，而生僻词仍能用更小的片段拼出来，所以不存在词表之外的词。

每个模型系列都有自己训练的分词器，同一句话在不同模型里的计数不同。token 数适合用来估算和做预算，并不是通用的单位。

同一句话，不同语言的token数

分词器主要是用训练数据里最常见的语言训练出来的。数据较少或文字体系不同的语言，表达同样的意思往往需要更多 token。下面是同一条指令，Please summarize this article in three bullet points（请用三个要点总结这篇文章），翻译后分别用较早的分词器 cl100k_base 和较新的 o200k_base 计数的结果：

有两点值得注意。词表更大的新分词器，对中文、日文、韩文和越南语的效率高得多。但即便如此，在这个例子里，这些语言表达同样的意思所用的 token 仍比英语多。API 价格和上下文上限都以 token 计，所以同一个任务在某些语言里可能更贵，也更快占满窗口。

上下文窗口是什么

上下文窗口是模型处理一次请求时的工作记忆，与模型在训练中学到的东西是两回事。模型写出回答所能用到的一切内容都必须放进窗口，回答本身也要算在内。

在聊天应用里，每发一条新消息，都会连同之前的整段对话一起发出去，所以聊得越久，窗口越满。一次典型的请求里，下面这些都算：

• 系统提示词，即应用或开发者设置的隐藏指令。
• 对话中之前每一条用户消息和助手回复。
• 附带的文档、粘贴的文字、图片以及从中提取的文字。
• 工具定义和工具返回的结果，比如联网搜索的结果。
• 新的回答，包括模型在回答前写出的隐藏推理（thinking）token。

各个模型的窗口大小差别很大，而且经常变化：就目前而言，小型本地模型只有几千个 token，一些大型云端模型则达到一百万或更多。请查看你所用模型的文档。

窗口满了会怎样

不同产品处理上限的方式不一样：

最后一行在日常使用中最重要。研究发现，模型对长输入开头和结尾的信息，利用得往往比中间的好。模型服务商也指出，token 数增长后，准确率和召回率可能下降。窗口大能让你放进更多内容，但不保证模型能把这些内容都用好。

如何估算和节省token

1. 先估算。英文用词数乘以约 1.3；中文或日文数字符，用较新的分词器大致每字符一个 token 或略少。字数统计工具，比如 cv.cm 的字数统计，能很快给出字数和字符数。
2. 需要精确时再准确计数。用你所调用模型的分词器或 token 计数接口，因为不同模型的计数不同。
3. 只发需要的内容。粘贴文档的相关部分，而不是整份文件，并删掉重复的页眉、页脚和套话。
4. 把关键指令放在长提示词的开头或结尾，不要埋在中间。
5. 换话题就开新对话。旧消息会一直占用空间，还可能干扰模型。
6. 给回答留出空间。如果输入几乎占满窗口，回复会很短，或被截断。
7. 长任务可以让模型先总结到目前为止的决定，然后带着这份摘要，在新对话里接着做。

常见误区

• 把token当成词。一份1,000词的文档不等于1,000个 token，在许多语言里要多得多。
• 以为模型读完了所有内容。即使在窗口之内，长输入中间的细节也可能被忽略。可以让模型引用它所依据的原文段落。
• 指望跨对话的记忆。新对话从空窗口开始，除非应用把保存的笔记插进来。
• 忘了隐藏内容。系统提示词、工具定义和推理 token 虽然你看不到，也会占用窗口。
• 直接比较不同模型的上限。一个模型的10万 token 和另一个模型的10万 token，因为分词器不同，能装下的文字量也不同。