AI Token计算 — GPT/Claude/Gemini
AI Token 计算器，tiktoken 精确计算 GPT/Claude/Gemini 等模型 Token 数。实时计数含字符和单词。
功能特性
- ✓使用 tiktoken 精确计算 Token（99%+ 准确率），支持所有主流 AI 模型
- ✓实时 Token 计数，输入或粘贴文本时自动计算
- ✓多语言支持：英文、中文、日文、韩文及混合内容
- ✓复制和清空文本功能，便捷工作流
- ✓字符数和词数统计，与 Token 数并列显示
- ✓成本估算 — 基于 Token 数和模型定价实时显示 API 调用费用
- ✓模型专用分词器切换 — 支持 GPT-4o、GPT-4、Claude 3.5、Gemini 1.5 等
- ✓上下文窗口监控 — 显示文本占模型上下文窗口的百分比
- ✓批量模式 — 用分隔符粘贴多个提示词，分别统计每个提示的 Token 数
使用方法
- 1在输入区粘贴或输入文本。Token 会自动使用 tiktoken 精确计算。
- 2实时查看 Token 数、字符数和词数。
- 3使用复制按钮复制文本，或清空重新开始。
- 4Token 数显示'tiktoken 精确'时为精确计数，否则为估算值。
- 5从下拉菜单选择 AI 模型以使用正确的分词器——GPT-4o、GPT-4、Claude 3 Sonnet、Claude 3 Haiku、Gemini 1.5 Pro 等。
- 6查看右下角的成本估算面板，了解基于所选模型的输入输出定价，此文本一次 API 调用的费用。
- 7监控上下文窗口使用条——显示文本占模型最大上下文的百分比，帮助避免超出限制。
- 8使用批量模式：用单独的 '---' 行分隔多个提示，分别统计每个提示的 Token 数并查看总计数。
- 9规划 API 调用：分别输入系统提示、少样本示例和用户消息，统计完整请求所需的总 Token 数。
常见问题
什么是 Token？
∨
Token 是 AI 模型处理文本的基本单位。大致规则：英文中 1 token ≈ 4 字符 ≈ 0.75 词。中文中，每个字符通常是 1-2 个 token。Token 数量直接决定 API 成本。
Token 计数有多准确？
∨
我们使用 OpenAI 官方 tiktoken 库，在有精确分词器时准确率达 99%+。对于没有特定分词器的模型，我们使用最接近的近似算法或估算算法。
为什么 Token 计数很重要？
∨
Token 数直接决定 API 成本以及请求是否能成功。超出上下文窗口会导致错误。精确计数有助于预算和优化 AI 使用。
我的文本有多少 Token？（中英文示例）
∨
英文 'Hello, how are you today?' = 6 tokens。'The quick brown fox jumps over the lazy dog' = 10 tokens。中文 '今天天气真好' = 5 tokens。中文文本通常比同等英文文本多 2-3 倍 Token，因为每个字符编码更多信息。
Token 数如何影响 API 成本？
∨
大多数 AI 提供商按 Token 收费，输入约 $0.01-0.15/1K token，输出约 $0.03-0.60/1K token（取决于模型）。2000 token 的 GPT-4 请求约 $0.06-0.12。工具根据所选模型的当前定价显示精确的成本估算。
什么是上下文窗口，为什么重要？
∨
上下文窗口是模型一次请求（输入+输出）能处理的最大 Token 数。GPT-4 有 8K 或 32K 版本，Claude 3 有 200K，Gemini 1.5 Pro 有 1M。超出限制会导致 API 错误。工具的上下文条显示当前使用百分比。
不同模型的 Token 计数有区别吗？
∨
有。每个模型家族有自己独特的分词器。GPT-4 使用 cl100k_base，Claude 使用 SentencePiece，Gemini 使用自定义分词器。工具在选择模型时自动使用正确的分词器。使用错误的分词器会导致计数不准，影响成本计算。
如何估算含系统提示和对话历史的完整 API 请求的 Token？
∨
用批量模式分别统计系统提示 + 每条用户消息 + 每条助手回复，然后求和。别忘了加上格式开销（每条消息边界约 20 token）。用 '---' 分隔各部分即可查看单项和总数。
超出上下文窗口怎么办？
∨
API 会返回 'context_length_exceeded' 错误。解决方法：(1)减少对话历史，(2)缩短系统提示，(3)截断用户输入，(4)使用更大上下文的模型（如 Claude 3 200K 或 Gemini 1.5 Pro 1M），(5)对长对话实现滑动窗口摘要。
这个工具可以离线使用吗？
∨
可以。分词器和所有计算完全在浏览器端运行。工具使用浏览器兼容的 tiktoken 版本，仅需加载一次。页面初始加载后即可断网使用。