Token(词元)经济、Token出海、Token套餐……今年以来,Token的热度持续升高,这个原本只在技术圈流传的词,为什么会突然火遍全网?Token中文名“词元”亮相的背后有什么故事?我国Token调用量为何两年增长了超千倍?Token对于经济发展有何意义?Token经济将走向何方?针对这些问题,《人民邮电》报记者近日采访了国家数据发展研究院院长胡坚波。
“词元”一词从何而来?
“在人工智能领域,Token是模型处理信息的最小基本单元,是人工智能世界的‘通用语言’,也是驱动各项智能应用运转的底层载体。”胡坚波介绍,人工智能大模型犹如一个拥有超强算力的数字大脑,但它无法直接读取人类的文字、图像或声音,而Token正是连接真实物理世界与人工智能数字世界的“专属翻译员”。
“这一术语并非大模型爆火后才出现的新词。早在国内计算语言学和自然语言处理的早期研究阶段,学术界就已经在使用‘词元’来对应语言处理中的Token概念。”胡坚波表示。
“词”字点明了这个术语起源于自然语言处理的核心场景,精准体现了它与语义表达的密切关联;即便现在大模型已经从纯文本发展到多模态,图像、语音等信息都会被转换为Token处理,这里的“词”也能通过类比,延伸为广义的信息符号。“元”字在中文语境下,常被用来表述构成事物的最小、最基础的不可分割单元,比如我们熟知的“元素”,用在这里,恰好精准传达了Token“基本信息单元”的核心属性。
Token调用量激增的背后
国家数据局发布的数据显示,今年3月,我国日均Token调用量已超过140万亿,相比2024年初的1000亿增长了1000多倍。
在胡坚波看来,用户端的快速普及、产业端的持续渗透、技术端的能力跃升、算力端的成本下探等都是Token调用量激增的重要原因。
“用户端的快速普及,构筑了Token爆发的用户底座。”胡坚波说,中国科技企业把原本只在技术圈的大模型,变成了普通人手机里零门槛、易操作的实用工具。数以亿计的用户从“偶尔尝鲜”变成“每天高频使用”,为Token调用量的爆发式增长打下了最坚实的基本盘。
“产业端的持续渗透也成为Token调用量增长最核心的底层动力。”在胡坚波看来,当人工智能真正能帮大家写代码、做数据分析、出专业方案、完成复杂的工作任务,它就从普通用户“可有可无的玩具”变成了企业用户“离不开的生产工具”。
技术端的能力跃升,也拉动了Token消耗的激增。对此,胡坚波表示,前沿技术的突破给予了市场最直观的认知冲击。人工智能的服务形态正从单一的文本对话,向多模态、超长上下文、高清视频生成以及智能体快速演进。处理任务的复杂度空前提升,单次任务的Token消耗量激增,极大地拉动了Token调用量的爆发式增长。
“算力端的成本下探,降低了大规模普及的商业门槛。”胡坚波表示,Token调用量能实现千倍增长,也离不开底层基础设施的强力支撑。随着国产人工智能芯片技术的快速迭代以及电力成本的持续下降,算力普惠已成为产业趋势,这让更多企业和普通民众能够以极低的成本享受智能服务,进一步释放了全社会对Token的需求。
Token需求的激增,也导致用户在使用大模型工具时遇到变慢的问题。对此,胡坚波表示,算力的增长需要有一个过程,但Token的消耗是有峰值的,当遇到峰值的时候,它不能满足即时的需求,就会出现时间的延后。
“我相信未来在商业模式上也会出现很多变化。”胡坚波说,未来会有更多的商业模式,会引导一些用户的需求向收费服务演进,用户可以免费的方式来享受这种基本服务,但也可以通过付费的方式享受更多的服务。
Token经济将走向何方?
“Token成为重塑商业结算、确立市场交易的‘价值锚点’。”胡坚波表示,在智能经济体系中,Token统一了交易的沟通语言,使探索建立以Token为基础的数据价值体系成为可能。这种高度标准化的“按智力计费、按需购买”模式,不仅打破了传统软件高昂的采购门槛,更将顶尖的人工智能化作平价智力,赋能千行百业,显著拉升了全社会的生产效率。
随着技术演进,人工智能应用正从初级的交互工具向复杂的智能代理跃升。“Token成为驱动生产变革,催生产业演进‘新形态’。”胡坚波表示,这种变革并非简单的效率提升,而是对工作本身的重构。机械性、重复性的认知岗位将被重塑,同时将催生出更多围绕人工智能技术的新型服务产业。
“当前,中国人工智能技术迎来了关键拐点,单位Token的生成成本随着算力与算法的优化大幅下降,形成了极强的国际竞争力。”胡坚波表示,在智能经济时代,智算中心即是“Token工厂”,Token是其高附加值的“智能商品”。通过出口高效能、高质量的智能服务,我国正依托自主可控的模型、庞大的算力集群与完善的电力基础设施,在全球人工智能分工中抢占产业制高点。
随着Token的爆火,关于Token经济的讨论络绎不绝。对此,胡坚波表示,与其一哄而上追逐规模,不如冷静判断:在自身场景中,人工智能投入是否真正回应了用户需求,解决了产业痛点。
“Token已超越单纯的技术范畴,成为观察智能时代经济运行的一项重要刻度,但刻度本身并不等于价值。”胡坚波说,正如衡量电力的意义,不能只看消耗了多少度电,更要看它支撑了什么生产活动,形成了什么产品和服务。
发展Token经济,不能脱离真实场景和应用需求、片面追求调用规模,更不能简单地把Token数量等同于产业价值。人工智能产业的高质量发展,最终要看Token背后的算力、模型和数据能否转化为解决实际问题的能力,能否带来可衡量的效率提升、成本下降和价值创造。