更多精彩 >

数字人有多接近真人?全国首个高校大模型元宇宙科创大赛将迎来大比拼

2023-05-10 22:17:41   来源:  作者: 

摘要:随着大模型元宇宙热潮日渐高涨,虚拟主播、虚拟客服等数字人已从科幻走进现实。

随着大模型元宇宙热潮日渐高涨,虚拟主播、虚拟客服等数字人已从科幻走进现实。他们的语言、动作、表情等都十分接近真人。这样的虚拟数字人是如何打造出来的?5月19日举行的全国首个高校大模型元宇宙科创大赛——第四届“天马杯”全国高校科技创新大赛(简称“天马杯”)决赛将为大家揭秘。

 

据大赛主办方马上消费金融股份有限公司(下称“马上消费”) 副总经理兼首席信息官蒋宁介绍,本次大赛将赛道集中在前沿科技领域,以元宇宙为核心,设置了2D数字人驱动、3D数字人驱动、NLP(自然语言处理,属于人工智能的一个子领域) 三个赛道。

 

其中,2D数字人驱动赛道的赛题为“语音驱动数字人口型生成”,3D数字人驱动赛题为“视频驱动人脸生成”,NLP赛道赛题为“数字人播报资讯内容生成”。在前期的预赛中,参赛团队围绕这三大赛题进行开发,取得了让数字人具备“人的行为模式”的创新成果。决赛中,他们将通过现场演示、答辩,展示这些创新成果。

 

譬如,在2D数字人驱动赛道中,主办方提供了一系列真人录制的音画同步的短视频,以及对应的其中人脸的3DMM参数(这个参数用来表示人脸关键点位的空间坐标和形变)。有赛队基于这些数据开展建模训练,实现了通过分析语音信号中的语调、语速、情感等信息来预测说话人的面部表情。据此,可以一张图片和通过语音生成的表情参数作为输入,生成与输入语音同步的说话人人脸视频。

 

在3D数字人驱动赛道中,主办方提供了一系列真人录制的人脸短视频,以及对应的其中人脸的BlendShape参数(用于描述人体表面形状变化的参数)。有赛队基于这些数据,根据输入人脸提取的关键点信息与基准的人脸关键点计算差值,然后用差值加上额外计算参数输入模型去预测人脸表情变化。据此,仅通过摄像头就能捕捉面部表情并构建3D人脸模型。

 

在NLP赛道中,主办方提供了一系列基于真实新闻得到的素材——新闻以及与之相关的训练数据和测试数据。有赛队基于其中的训练数据,探索多种可行的预训练模型并最终选定一种模型,打造出了数字人新闻播音员。该数字人新闻播音员能够基于关键新闻素材(如时间、地点、人物、事件等)生成一段通畅、易读的资讯新闻。

 

蒋宁表示,随着大模型概念火爆,各种虚拟数字人如潮水般涌现。而另一方面,元宇宙又对虚拟数字人的语言、动作、表情等提出了更高的要求,需要虚拟数字人像真人一样“动起来”。在此背景下,“天马杯”决赛设置上述三大赛道,旨在以比赛促进数字人技术创新发展,探索让数字人能真实还原真人表情、语言和动作的新方法、新路径。

 

参加本次比赛之前,我们团队也在研究数字人,但往往更偏重理论,实用性不大。而本次比赛和我们平时的研究有一定的相关性,有利于我们将所学理论知识与实践相结合,提高团队开发数字人的技术水平。”参赛队代表USTC-Qingbo赛队队长李弘毅说。

image.png

图说:“天马杯”大赛海报资料图。马上消费提供


猜你喜欢

上好金融“必修课”,筑牢反诈“防火墙”,马上消费开展金融知识进校园活动

马上消费

为增强青少年金融素养,提高风险识别能力。“2024年普及金融知识万里行”活动期间,马上消费金融股份有...

2024-06-21

原创

金融监管局发布投资者保护方案,马上消费提醒消费者理性投资

马上消费

针对这一严峻形势,金融监管局近日发布了《2024年金融消费者教育工作方案的通知》,并将5月15日定为...

2024-05-16

再添“国字号”荣誉 马上消费获批国家企业技术中心

马上消费

近日,国家发展改革委、财政部、海关总署、国家税务总局等联合公布2023年新认定(第30批)国家企业技...

2024-01-23

大模型时代将来临,马上消费的智能客服掀起新篇章

马上消费

智能客服在金融机构服务中扮演着越来越重的角色,但“智能客服不智能”的情况,至今仍然是金融机构和客户之...

2023-10-25

永泰运化工物流股份有限公司开启资本新征程,定增助力公司跨越式发展

上市公司永泰运

正通过2024年度向特定对象发行股票的预案,为公司的未来发展注入新动力。

2024-12-06

华兴资本首席执行官王力行受邀出席2024科创大会并进行观点分享

华兴资本创新创业

12月5日,由中央广播电视总台与上海市人民政府共同主办的2024科创大会在上海举行。

2024-12-06

极光管理层深度剖析2024 年第三季度财务业绩

创新创业极光

近日,一位著名的商业杂志记者参观了极光在深圳的办公室。

2024-12-06

巨象金业:非农一出打破金市震荡怪局,金缠与AI分析师独家策略与您

金融科技巨象金业

就在狂热的多头纷纷猜测年末金价能否突破3000之际,11月金价空头开启突袭,金价数度大跌,多空震荡局...

2024-12-06

一筷捞起999足金,“海底捞金”挑战赛火爆开启

海底捞大消费

2024年悄然接近尾声,海底捞即将为“捞粉”们带来一个别开生面的年度宠粉——“海底捞金”。

2024-12-06

聚焦高成长“科创黑马” 华夏上证科创板200ETF即将发行

金融科技华夏上证科创板200ETF

自“924新政”以来,国内资本市场迎来新的发展阶段,市场活跃度与投资者情绪明显回升,主流指数涨势喜人...

2024-12-06

安凯客车让“绿色动能”在非洲大地绽放光彩

上市公司安凯客车

近年来,在中非合作论坛、共建“一带一路”等机制和倡议框架下,一座座风电站、水电站、光伏电站在非洲大地...

2024-12-05

永泰运:定增与物流新政共振,塑造行业新未来

上市公司永泰运

在国家政策的大力支持下,物流行业正迎来新的发展机遇。

2024-12-05

DECODE Global科汇一站式交易平台:“减”交易负担,“增”交易体验

金融科技DECODE Global科汇

在快节奏的时代下,越来越多年轻人开始追求精益求精、轻量轻松的生活。

2024-12-05

投资家网(www.investorscn.com)是国内领先的资本与产业创新综合服务平台。为活跃于中国市场的VC/PE、上市公司、创业企业、地方政府等提供专业的第三方信息服务,包括行业媒体、智库服务、会议服务及生态服务。长按右侧二维码添加"投资哥"可与小编深入交流,并可加入微信群参与官方活动,赶快行动吧。

沙特天空塔投资设立专项基金带领中国氢能独角兽扎根沙特

2016年注册于北京的中氢新能技术有限公司,下设位于大兴的装备制造公司、位于海淀区的技术研究院、材料...

挑战奔驰的明星车企,突然“翻车”了

一度无比高光的理想汽车,猝不及防遭遇重挫。

深圳天使母基金姚小雄:将来股权投资行业竞争是服务能力的竞争

2024年1月10日,由投资家网主办,财经锐眼、有时间协办,北京微金科技有限公司承办的“第十二届股权...

避免卡脖子,硬科技如何“逆境”突围?

2024年1月10日,由投资家网主办,财经锐眼、有时间协办,北京微金科技有限公司承办的“第十二届股权...

VC/PE眼中的“专精特新”

2024年1月10日,由投资家网主办,财经锐眼、有时间协办,北京微金科技有限公司承办的“第十二届股权...

分化浪潮中的坚守与突破 | 第19届中国投资年会,即将启幕

分化浪潮中的坚守与突破 | 第19届中国投资年会,即将启幕

在时代的浩渺长河中,“分化”宛如一条隐匿的脉络,贯穿于万物的生长、发展与变迁。从生命的进化到文明的演...

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会于2025年4月9日在匈牙利布达佩斯盛大启幕。

雕刻耐心|第18届中国投资年会·有限合伙人峰会在沪召开

雕刻耐心|第18届中国投资年会·有限合伙人峰会在沪召开

“中国投资年会”作为私募股权行业的年度盛会,已成功举办了18届,吸引了全国VC/PE领域从业者的广泛...

雕刻耐心|第18届中国投资年会·有限合伙人峰会即将启幕

雕刻耐心|第18届中国投资年会·有限合伙人峰会即将启幕

2024年的一级市场,“耐心”是最高命题,也引发了持续全年的讨论。