🟡 Token 是 AI 的"字"——为什么模型按 Token 收费
🟡 Token 是 AI 的”字”——为什么模型按 Token 收费
一个英文单词可能是 1 个 Token， 一个汉字可能是 2 个 Token。 这事关你每月的 API 账单。
🟡 AI 通识专栏 · 第 10 期 📅 2026年6月20日 ✍️ 小敏说 AI
💡 本文要点：Token 是 LLM 处理文本的基本单位，也是计费、上下文长度、速度的核心指标。本文讲清三件事：Token 不是”字”也不是”词”、为什么中文比英文贵、怎么用更少 Token 拿到更好结果。读完你能省下至少 30% 的 API 成本。
🎯 本文导读
- 🔹 Token 到底是什么
- 🔹 为什么中文比英文 Token 多
- 🔹 一张速查表：1000 字 ≈ 多少 Token
- 🔹 上下文窗口的真实含义
- 🔹 5 个省 Token 的实用技巧
一、🔤 先看结论：Token 是”模型眼中的字”
人类看文字以”字”为单位，模型看文字以 Token 为单位。
| 维度 | 人类 | LLM |
|---|---|---|
| 基本单位 | 字 / 词 | Token |
| 单位大小 | 固定（一个字就是一个字） | 不固定（一个 Token 可能是 1 字、半个字、或一个词） |
| 由谁决定 | 语言规则 | Tokenizer（分词器） |
🎯 一句话总结：Token 是模型”吃”和”吐”文本的最小单位，所有费用、速度、上下文长度都按它算。
二、✂️ Tokenizer：把文字切成 Token 的”刀”
OpenAI 的 Tokenizer 用一种叫 BPE（Byte Pair Encoding） 的算法，把高频组合合并成一个 Token。
举几个真实例子（用 GPT-4 的 Tokenizer）：
| 文本 | Token 数 | 说明 |
|---|---|---|
hello |
1 | 常见英文词 → 1 个 Token |
unbelievable |
3 | un + believ + able |
你好 |
2 | 一个汉字约 1 个 Token |
小敏说 AI |
4 | 中文 + 空格 + 英文 |
🎉 |
3 | emoji 通常拆成多个字节 |
⚠️ 重要提醒：一个汉字 ≈ 1-2 个 Token，一个英文单词 ≈ 0.75 个 Token。同样意思的内容，中文消耗 Token 比英文多 1.5-2 倍。
三、💰 为什么中文比英文”贵”
来看一段对比——同样的意思：
| 语言 | 句子 | Token 数 |
|---|---|---|
| 英文 | The weather is nice today. |
6 |
| 中文 | 今天天气真好。 |
9 |
为什么？因为 Tokenizer 是用英文为主的语料训练的，对英文做了大量”高频合并优化”，对中文的优化少得多。
💬 关键观点：用 OpenAI API，中文输出的成本天然比英文高 1.5-2 倍。这就是为什么国产模型（DeepSeek、Qwen）会自己训练中文友好的 Tokenizer。
四、📏 1000 字 ≈ 多少 Token？一张速查表
| 内容 | 字数 | 大约 Token 数 |
|---|---|---|
| 一条微信消息 | 50 字 | ~75 |
| 一封邮件 | 500 字 | ~750 |
| 一篇短文章 | 2000 字 | ~3000 |
| 一篇长报告 | 10000 字 | ~15000 |
| 一本书的一章 | 50000 字 | ~75000 |
英文换算（OpenAI 官方建议）：
- 1 Token ≈ 0.75 个英文单词
- 1 Token ≈ 4 个英文字符
中文换算（实测）：
- 1 个汉字 ≈ 1.5 个 Token
🎯 记住这个公式：中文字数 × 1.5 = 大约 Token 数。
五、🪟 上下文窗口：Token 的”容器上限”
每个模型有一个最大处理量，叫 上下文窗口（Context Window）。
| 模型 | 上下文窗口 | 折算中文字数 |
|---|---|---|
| GPT-3.5 | 4K | ~2600 字 |
| GPT-4 (老版) | 8K | ~5300 字 |
| GPT-4 Turbo | 128K | ~85000 字 |
| Claude Sonnet 4 | 200K | ~130000 字 |
| Gemini 2.5 Pro | 1M | ~660000 字 |
⚠️ 重要提醒：上下文窗口是 输入 + 输出 + 历史对话 的总和。超过窗口，前面的内容会被截断——这就是为什么长对话到后期 AI 会”失忆”。
六、💸 真实成本计算：写一篇万字报告要多少钱
以 GPT-4 (gpt-4-turbo) 为例，2026 年价格：
- 输入：$10 / 百万 Token
- 输出：$30 / 百万 Token
任务：写一篇 1 万字中文报告（输入提示词 1000 字，输出 10000 字）
| 阶段 | Token 数 | 单价 | 成本 |
|---|---|---|---|
| 输入 | 1500 | $10/M | $0.015 |
| 输出 | 15000 | $30/M | $0.45 |
| 合计 | 约 ¥3.3 |
💬 关键观点：写一篇高质量长报告，API 成本约 3-5 元人民币。便宜得吓人，但如果一天调一万次，就是 3 万元——这就是 AI 产品的成本结构。
七、🎁 5 个能立刻省 Token 的技巧
| 技巧 | 节省 | 原理 |
|---|---|---|
| 1. 让 AI 用英文回答再翻译 | 30-50% | 英文 Token 利用率更高 |
| 2. 删除冗余提示词 | 10-30% | “请帮我”、”非常感谢”都在烧钱 |
| 3. 多轮对话改一轮 | 50%+ | 每轮都会重传历史，越长越亏 |
| 4. 用 system message 固化角色 | 一次性 | 比每次都说”你是 X 专家”省 |
| 5. 输出格式用 JSON / Markdown 而非长句 | 20% | 结构化输出更紧凑 |
实战例子（对比）：
❌ “你好亲爱的 AI 助手，麻烦请你帮我把下面这段文字进行一下总结好吗？非常感谢你！文字内容是……”
✅ “总结以下文字：……”
省下：约 30 个 Token / 次。每天调 1000 次 = 一年省几千元。
八、❌ 三个常见误区
| 误区 | 真相 |
|---|---|
| ❌ “1 个 Token = 1 个字” | 中文约 1-2 Token / 字，英文约 0.75 Token / 词 |
| ❌ “上下文 128K 就能塞 12.8 万字” | 是 Token，不是字。中文最多约 85000 字 |
| ✅ “Token 决定速度、成本、上下文容量” | 对，是 LLM 的”度量衡” |
📮 今日话题
💬 你用 AI API 一个月烧多少钱？
评论区聊聊你的 Token 消耗大头是什么场景——我可能整理一篇”按场景的 API 省钱指南”。
🔮 下一篇预告
🟡 AI 通识 · 第 11 期：Embedding——AI 如何把”语言”变成”数字”
模型怎么知道”国王 - 男人 + 女人 = 女王”？答案藏在 Embedding 这个魔法里。
🟡 本文属于「AI 通识 · 阶段二：大模型怎么思考」。
📱 关注「小敏说 AI」，回复 「AI 入门」 领取《打工人 AI 自救工具箱》。