近日,由工业和信息化部新闻宣传中心和阿里云联合牵头提出的“Functional framework of media content enhancement and editing system based on multimodal foundation model for media”(基于媒体多模态大模型的媒体内容增强及编辑系统功能框架)标准正式发布。该标准旨在指导媒体行业基于多模态大模型的媒体内容增强与媒体编辑系统在国内外相关方之间按照统一的框架和功能要求开展建设,助力该系统在媒体、广电、文娱等产业的规模化应用。
该标准提出的MFM-MCEES系统主要由媒体能力支撑组件(multimedia capability support component)和媒体能力组件(multimedia capability component)构成。其中,媒体能力支撑组件由多模态大模型、专家模型及文本、音频、视频、图像处理算法能力构成;媒体能力组件覆盖媒体采集与汇聚、媒体编辑、媒体内容增强、媒体生产、媒体应用、媒体资源管理六大环节,并通过对多模态大模型与专家模型的编排,向上层应用提供端到端的能力支撑。同时面向多对象精细化实景抠图、视频画质修复与增强(流畅度、修复质量、色彩质量)、智能视频生产(文案匹配、批量生产、精彩片段)、多语种全维度媒体内容翻译(BLEU)、多模态内容理解与搜索(准确率、召回率)五类典型应用,该标准给出了主客观结合的统一评估指标与方法。
随着媒体业态不断革新,影片修复、多语种译制、多模态检索等需求持续攀升,但行业缺少统一协同规范与标准化性能评估体系,系统对接低效、产品体验受限。在此背景下,工业和信息化部新闻宣传中心联合阿里云,建立统一的媒体多模态大模型系统框架、功能要求与评估方法,为行业规范化、规模化发展提供国际标准依据。未来,工业和信息化部新闻宣传中心与阿里云将依托该项国际标准,联合产业链合作伙伴,持续推动标准在媒体、广电、文娱等行业的落地应用。