• 最近访问:
发表于 2025-07-28 06:21:40 股吧网页版
郑庆华:实现人机价值对齐的技术路径 | WAIC社科分论坛
来源:上观新闻

  确保人工智能正向赋能科技向善的前提是实现人机价值对齐。对此,我有以下几点认识:

  AI是一种新质生产力。我们已经进入人机混合增强智能的智能社会。AI的本质是赋能。

  AI正在影响文化和文明。生成式人工智能技术可能引发文化价值、伦理、知识产权等问题的再思考,特别是由于算法偏见,可能导致语言和文化的多样性受损。

  大模型正在重塑知识生产传播的格局。如果大模型背后的语料、算法、模型存在意识形态偏见,将对大模型的平权性造成极大影响。

  AI正在影响人类的认知逻辑。AI已经具备知识生产和逻辑演绎的能力,正朝着如何具有意识这样的方向发展。

  AI的物化力量在于拓展认知边界。AI解决了从定性到定量,从模糊到精准的难题,已成为人类认知的超级显微镜、超级望远镜和超级计算器,AI实现了知识的外化和工具化。

  人机价值对齐有两方面内涵:一是AI对齐人类,其目的是创建安全、符合人类伦理的人工智能系统;二是人类对齐AI,其核心目标是确保人类负责任地使用AI。人机价值对齐面临三大技术挑战:价值的定义理解难;价值的学习推断难;价值的安全性和鲁棒性。对此,可采取以下技术路径:

  路径1:基于有监督调优的价值观对齐。利用明确高质量标注数据训练大模型,让大模型学习输入文本和人类标定价值观标签之间的映射关系,强化学习让模型学习人类的价值和偏好。

  路径2:基于反馈强化学习的价值观对齐。主要思路是定义一套价值观相关的奖励信号,在模型内容生成过程中,能够根据环境中获得的奖励或惩罚等反馈信号,不断调整自身策略,最终输出符合人类期望的内容。

  路径3:推理阶段的价值观对齐。在模型推理阶段嵌入价值观规则和原则,以指令引导或后处理形式对模型输出进行动态调整,使得输出结果符合人类价值观标准。

  (作者为同济大学党委书记、教授,中国人工智能学会副理事长)

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500