今年以来,全球人工智能领域出现了一个新挑战——“词元短缺”。多家国际顶尖模型厂商与科技巨头对人工智能服务实施了不同程度的限量供应与调用限制。例如,Claude模型的开发者美国Anthropic公司调整了使用条款,以遏制高峰时段的过量使用;亚马逊公司表示,“产能限制”已拖累其增长步伐;OpenAI公司甚至暂停或放缓了类似视频应用Sora等非核心项目的资源投入,将宝贵的算力集中于可产生直接营收的业务板块。
所谓词元,通俗来讲,就是大模型处理信息的最小单元。就像我们的阅读以字为单位一样,人工智能在处理文字、图片或代码时,会将信息拆解为一个个可计算的最小单位。大模型每处理一个词元,都要消耗相应的计算资源。因此,词元短缺本质上是算力短缺的一种具象表达,它直观反映了智能时代算力资源的使用成本与供需矛盾。
当前,全球部分国家和地区出现的算力紧张局面,一方面与芯片制造、电力供应等物理层面的瓶颈有关,更关键的原因在于,人工智能需求的爆发式增长超出了现有供给的承载能力。全球人工智能模型聚合平台OpenRouter公司的数据显示,今年第一季度,每周词元消耗量翻了两番。这种需求的快速上升,主要源于人工智能应用范式的深刻转变。
一是人工智能正从“辅助工具”向“任务代理”跨越。过去,人工智能主要用于聊天问答、内容生成等简单场景。如今,一些新型人工智能代理已能直接操作电脑,完成代码编写、文件整理、跨软件协作等复杂任务。这种从“动嘴”到“动手”的转变,使得单次任务的算力消耗大幅增加,部分复杂任务甚至可提升数个数量级。
二是顶尖供应商坚持“以算力换智力”。为了提升人工智能完成任务的可靠性与准确性,全球顶尖模型广泛采用“推理时扩展”技术。模型在回答前,会像人类一样在后台进行多轮分析、推演和检查。例如,在处理“调研某行业并撰写报告”这一任务时,人工智能需要自主打开网页、读取财报、调用分析工具,单任务可持续运行数小时,词元消耗量可达数百万级别。
三是商业化应用突破关键临界点。随着高性能模型在稳定性、准确性上实现质的突破,人工智能开始在金融、医疗、企业核心业务等场景中创造实际收益。企业大规模调用模型的意愿显著增强,算力需求正从“技术尝鲜”转向“业务刚需”。
面对词元短缺带来的挑战,全球科技企业正在积极探索应对之策。短期来看,优化资源配置是破局的关键。一个普遍的做法是通过算法优化来降低任务对高端算力的依赖。比如,OpenAI和Anthropic等公司的编程代理已经能够对输入信息进行“上下文压缩”,先处理摘要信息,必要时再查询原始资料,以节约算力。中国企业在推理效率提升方面也取得明显进展。一些国际平台统计显示,中国人工智能模型周度的全球调用量一度超过海外模型,这是中国模型凭借较高性价比和算力使用效率,承担大量高频、通用型任务的体现。这也证明,通过技术创新提升单位算力的产出效率,是缓解算力焦虑的有效途径。
长期来看,扩充产能与推进技术替代同样重要。当前,全球科技企业正在加快建设数据中心,扩大高端芯片采购规模。同时,为降低对单一供应链的依赖,一些企业也在积极探索替代路线。例如,谷歌提出强化自研TPU芯片体系,试图通过软硬一体化的定制芯片来降低成本、稳固供应。此外,边缘计算、更高效的模型架构(如混合专家模型)以及新型存储与互联技术,也在逐步走向成熟,有望从不同维度缓解集中的算力压力。
词元短缺现象,是全球算力格局深度调整的一个缩影。在智能时代,算力已成为类似水、电一样的基础性战略资源。唯有兼顾短期优化与长期布局,统筹技术迭代与产能建设,才能推动人工智能产业平稳有序发展,在激烈的国际科技竞争中赢得主动。
(作者为京东集团首席经济学家)