电力时代拼千瓦时,云时代拼实例小时,AI 时代拼 Token。它计量的不只是「说了多少字」,而是推理、上下文、工具往返与多 Agent 协作的全部燃料。

爆款金句:Token 是 AI 世界的「电费账单」——看不见,但每一度都在烧钱。

Token 为什么像「新货币」

  1. 可计价 — 输入/输出按量计费,账单可归因到产品功能
  2. 可投机 — 价差、批处理、缓存命中改变毛利
  3. 可战争 — 模型厂商、云厂商、应用层在抢定价权与锁客

爆款金句:谁掌握了 Token 的定价权,谁就掌握了 AI 时代的印钞机。

成本结构拆开看

Token 成本流向图

flowchart LR
    A["用户请求"] --> B["系统提示<br/>System Prompt"]
    A --> C["上下文<br/>Context"]
    A --> D["工具调用<br/>Tool Calls"]

    B --> E["输入 Token<br/>Input Tokens"]
    C --> E
    D --> E

    E --> F{模型推理}
    F -->|"小模型<br/>低成本"| G["快速响应"]
    F -->|"旗舰模型<br/>高成本"| H["深度推理"]

    G --> I["输出 Token<br/>Output Tokens"]
    H --> I

    I --> J["账单<br/>$/百万Token"]

    classDef input fill:#e8f5e9,stroke:#4caf50,stroke-width:2px
    classDef output fill:#e3f2fd,stroke:#2196f3,stroke-width:2px
    classDef model fill:#fff3e0,stroke:#ff9800,stroke-width:2px
    classDef bill fill:#fce4ec,stroke:#e91e63,stroke-width:2px
    class B,C,D,E input
    class G,H,I output
    class F model
    class J bill

完整成本明细表

成本桶常见驱动典型占比优化抓手节省潜力
提示输入系统提示过长、重复贴仓库30%-50%缓存、摘要、RAG 分段40%-70%
输出 Token啰嗦、反复重写、格式冗余20%-35%更严的格式约束、JSON schema30%-50%
多轮 Agent工具来回、失败重试15%-30%Harness 限次、早停、工具聚合25%-60%
长上下文「把整个 monorepo 塞进去」25%-45%检索代替硬塞、向量数据库50%-80%
嵌入 Embedding向量化全部文档5%-15%增量更新、按需嵌入30%-60%
微调 Fine-tuning定制化模型训练一次性投入迁移学习、LoRA 轻量微调40%-70%

Token 经济学的关键概念

什么是上下文膨胀?

上下文膨胀是指随着对话轮次增加,每次请求都需要携带全部历史对话内容,导致 Token 消耗呈线性甚至指数级增长。一个 10 轮对话的 Token 消耗可能是单轮的 15-20 倍。

什么是模型路由?

模型路由是根据任务复杂度智能选择模型规模的策略:简单任务(分类、摘要)走小模型,复杂推理走旗舰模型。合理的路由策略可以节省 40%-60% 的 Token 成本,同时保持输出质量。

什么是缓存命中?

缓存命中是指利用相同或相似的系统提示前缀,让模型供应商的缓存系统返回预计算的 KV 缓存结果,避免重复推理。前缀缓存命中率每提高 10%,总成本下降约 8%-12%。

「裁员省下的钱」可能被 Token 吃掉

自动化项目常犯的账:只算编制,不算:

  • 高峰时段溢价推理
  • 失败重试的隐形倍增
  • 为了稳妥选最贵旗舰模型

所以 Token 经济学与「裁员换 AI 后悔」是同一张报表的两面。

爆款金句:裁员省下的工资,可能在深夜的推理账单里加倍还回来。

企业采购的务实策略

策略实施方式预期效果难度
智能路由简单分类走小模型,硬推理走旗舰降本 40%-60%
前缀缓存稳定系统提示与检索片段做缓存降本 20%-35%
预算警报按功能/按团队设日限额,超限降级防预算失控
成本验收不仅看准确率,也看「每千次成功任务成本」ROI 透明化
合约锁定承诺用量换取折扣,锁定未来价格降本 15%-30%
多供应商不绑定单一模型厂商,保持议价能力风险分散

产品人要盯的三指标

  • 单次成功任务平均 Token — 衡量效率的核心指标
  • 缓存命中率 — 反映系统提示的稳定程度
  • 因上下文溢出导致的失败占比 — 揭示上下文管理的短板

各厂商 Token 定价对比

厂商输入价格 (每百万 Token)输出价格 (每百万 Token)缓存命中折扣备注
OpenAI GPT-4o$2.50$10.0050% off旗舰定价标杆
Anthropic Claude$3.00$15.0090% off缓存折扣最大
Google Gemini$1.25$5.0050% off性价比突出
开源部署自托管成本自托管成本适合长期大规模

注:以上价格为示例,请以各厂商官方实时报价为准。

FAQ

什么是 Token?为什么 AI 要用 Token 计量?

Token 是大语言模型处理文本的基本单位。一个 Token 大约对应 0.75 个英文单词或 1.5-2 个中文字符。使用 Token 而非字数,是因为模型内部的分词机制(Tiktoken、SentencePiece)决定了计算资源的实际消耗。

输入 Token 和输出 Token 为什么价格不同?

输出 Token 需要模型逐个生成,涉及完整的自回归推理过程,计算量远大于输入 Token 的前向编码(Forward Pass)。因此输出 Token 价格通常是输入的 3-5 倍。

如何快速降低 Token 消耗?

最有效的三个动作:1) 缩短系统提示 — 移除冗余指令,控制在 500-1000 Token;2) 启用缓存 — 固定前缀让供应商缓存;3) 模型降级 — 非核心任务用小模型或开源模型。

Token 经济学对未来有什么影响?

Token 正在成为 AI 世界的「碳排指标」。未来可能出现:Token 预算管理体系、Token 审计标准、Token 效率排名等。企业需要提前建立 Token 成本意识,将其纳入财务 KPI。

个人开发者如何应对 Token 成本压力?

  • 优先使用有免费额度的 API 或开源模型本地部署
  • 善用 Prompt 压缩技术(如 LLMLingua)
  • 对高频重复请求做结果缓存
  • 加入开源社区共享模型资源

什么是 Token 的「上下文窗口」?它和成本有什么关系?

上下文窗口是模型一次能处理的 Token 上限(128K、200K、1M 不等)。窗口越大,能处理的上下文越丰富,但每次请求的成本也越高。不是窗口越大越好,而是够用就。超过实际需要的窗口,就是在为空白付费。

来源

价格数字与厂商策略随市场快速变化,请以源视频及官方价目为准;本文保留分析框架便于后续填数。