• 最近访问:
发表于 2026-04-03 14:02:31 股吧网页版
一个词元的神奇旅程(延伸阅读)
来源:人民日报

  每次与人工智能对话时,你有没有好奇过:冰冷的数据如何变成鲜活、智能的内容?要搞懂这背后的门道,得先了解词元是如何“流动”的。

  对人工智能来说,词元就像一位“翻译员”,在人类语言和机器数字之间搭起桥梁。所有喂给人工智能的数据,都需要先按规则切分成独立的词元,再转换为数字编码,才能被人工智能识别。比如你输入“春节包饺子”,人工智能会切分为“春节/包/饺子”三个词元,再从“字典”中找到匹配的编码。

  要想大规模批量处理这些词元,离不开一座“词元工厂”——数据中心。人工智能正式上岗前,需要经历一个训练的过程:数据中心消耗大量电力,开动算力引擎,把数十万亿级的词元源源不断地喂给人工智能。它要做的是挖掘并记住词元间的关联关系,比如当“春节/包/饺子”出现时,人工智能就能联想到在学习材料中常与它们同框出现的“北方”和“传统”等词元。这些从海量词元中沉淀下来的经验,就是我们感知到的“智能”。

  等到你向人工智能提问时,工厂再次运转。问题被切分成词元送给人工智能,庞大的算力群随即驱动它进行一场“文字接龙”,也就是推理。人工智能根据输入的词元,依据之前学到的经验规律,逐次预测下一个最可能出现的词元,一步步拼接出完整内容,再翻译回人类文字,于是屏幕上便跃出那句:“春节包饺子是北方的传统。”

  跳动的词元背后是生产力的跃迁,使得人工智能可以从海量的数据中发现其中深层的关联规律,极大地拓展了数据价值挖掘的空间。也正是一个个小小的词元,串联起数据与智能的桥梁,不仅让数据拥有了温度,也让人工智能的每一次回应,都成为数据价值释放的生动实践。

  (作者为国家数据发展研究院副院长,本报记者王云杉采访整理)

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500