生成式AI Token成本失控 企业借云FinOps体系探索降本路径

随着生成式AI规模化落地，企业调用大模型产生的Token成本快速攀升，部分企业AI算力相关支出较半年前涨幅超过300%。业内最新实践显示，此前用于管控云服务支出的FinOps（云成本优化）方法论可复用至AI场景，通过精细化用量统计、动态调度资源等方式，最多可帮助企业降低40%以上的生成式AI运营成本。

2024年开年以来，不少已经落地生成式AI应用的企业IT负责人都收到了超出预期的账单：不少此前POC阶段单月仅数万元的Token成本，在业务全量上线后直接飙升至数十万甚至上百万元，占整体IT支出的比例也从个位数跃升至30%以上，成为企业AI落地过程中超出预期的最大增量成本。

Token是大语言模型处理文本内容的最小计量单位，用户输入的提示词、模型返回的结果都会按照Token数量计费，目前包括OpenAI GPT-4、Anthropic Claude 3、阿里云通义千问、百度文心一言在内的主流大模型产品，均采用按调用量阶梯计费的模式。

很多企业在初期测试生成式AI应用时，由于调用量有限，往往更关注模型效果而非成本，等到全量部署到客服、内容生成、代码开发等核心业务场景后，日均调用量快速突破百万级，Token成本也随之出现指数级增长。某头部零售企业2023年10月上线AI智能客服后，2024年Q1单月Token支出已经突破120万元，超过了其同期的云服务器租赁总支出。