近期行业测算数据显示，企业部署生成式AI的总成本中，传统认知里占大头的GPU采购及算力租赁支出仅占35%左右，上下文窗口调用、低质无效数据处理带来的隐性成本占比超45%，成为AI项目超支的核心诱因，不少忽略数据筛选和上下文管理的企业，实际AI投入可达初始预算的2.3倍以上。
某头部零售企业技术负责人近期透露，其团队上线的AI智能导购系统上线前3个月的实际支出中，超过60%都花在了处理用户重复提问、历史对话上下文残留带来的冗余算力消耗上，而此前团队给GPU算力预留的预算占比高达70%，实际仅使用了不到四成。这一情况并非个例，正成为大量企业AI落地过程中的普遍痛点。
过去两年，生成式AI爆发带来的算力缺口让GPU成为行业争抢的核心资源，多数企业制定AI预算时，都把70%以上的份额留给了GPU采购或者云算力租赁，却普遍忽略了大模型的收费逻辑带来的隐性开销。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号