打造梅兰芳先生的孪生数字人有多难

打造梅兰芳先生的孪生数字人有多难

2021-11-25 09:39来源: 科技日报

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  某公司推出数字人美妆博主,一条短视频收获百万粉丝;新华社推出数字记者,“TA”也是全球首个数字航天员,吸引众多视线……如今虚拟数字人概念火热,但要打造真正高逼真、超写实的数字人,还有大量技术问题要解决。

  近日,“数字梅兰芳”大师复现项目启动仪式在北京梅兰芳大剧院举行。由北京理工大学参与研制的全国首个高精度京剧数字人“梅兰芳孪生数字人”在仪式现场亮相。

  该项目以京剧大师梅兰芳先生26岁时的模样为原型,对其进行复现。项目由中央戏剧学院、北京理工大学共同发起,腾讯公司提供技术支持,受到“北京高校卓越青年科学家”计划资助,并得到了多家单位和梅兰芳先生家人及弟子的大力支持。

  北京理工大学光电学院研究员翁冬冬告诉科技日报记者,未来他们将不断进行模型实时化升级,并在多个场景应用落地,力争打造国内第一套真正意义上的可实时交互的“京剧数字人”。

  扫描,分解,构建

  做数字人表情有讲究

  虚拟数字人是存在于数字世界的“人”,利用信息技术与人工智能技术,将人全身及肢体动作全方位地进行数字化、可视化复制,最终将现实生活中的人精确地在数字世界中模拟构建出来。

  做虚拟数字人,本身就是啃一块硬骨头。因为人天然就对人的面部特别敏感,虚拟数字人做得稍有不到位,就会让人觉得怪异。

  所以虚拟数字人的一大考验,就是表情。

  研究课题组找到和年轻时梅兰芳先生长相相似的演员,让他模仿梅先生的表情神态,然后利用光场采集技术,采集真实演员毫米级精度的三维数据,并以计算光学为基础构建物理属性皮肤纹理,从而实现对真实演员的高复原度重建。

  “其实一个人的表情神态是很难复现的。我们要扫描演员肌肉的走向、脸部的皱褶等。”翁冬冬说。他们需要将演员做出的表情,编码成几百个基础表情元素。比如完全闭上左眼、左眼半睁开、完全闭上右眼、嘴角向上微微扬起……但人在做表情时,脸上很多部位是联动的。所以,先要将已扫描出的表情拆分成单个的表情元素,再根据实际需要,重新将这些元素组合起来,构成新的表情。

  获取了这些表情之后,课题组还需要将演员脸上的表情,迁移到数字人梅兰芳先生的脸上。“京剧数字人,对眼神和表情的要求非常高。”翁冬冬说。

  由于已经无法采集到梅兰芳先生的真人三维数据源,在收集了大量梅先生的照片作为数字资产构建的参照后,研究团队邀请中央美术学院的师生以历史照片为依据完成了梅兰芳先生的实体肖像。在技术团队与雕塑团队的反复磨合后,完成了以三维数字化为目标的真人雕像数字人制作。

  接下来,他们还需要完善数字人的声音能力,完善数字人的实时语音交互能力,让数字人真正“活起来”。

  消失的布料,失传的手艺

  数字化也是一种抢救性保护

  难题,不仅在于技术。

  这一次,他们这帮技术出身的科研人员,切实感受到了科技和传统艺术的碰撞。“学京剧的人,对传统是很敬畏的,也是相当讲究的。”翁冬冬说。

  梅兰芳先生服装的数字化,就颇费一番周折。

  “现在的布料,和民国时期的布料是不一样的。”翁冬冬说,为了做出接近的衣服质感,项目的另一合作方、中央戏剧学院传统戏剧数字化高精尖中心主任宋震团队,通过各种关系找到了民间收藏的民国留存布样,以其为基础进行逼真服饰材质模拟。

  梅先生戏服上用到的线,叫金线,是用棉绳绕着金箔做出来的。团队被告知,这线现在没法做,因为工艺没有了,手艺失传了,而且当年的棉和现在的棉,根本就不一样。

  有此问题的还有头冠。团队找到专门做盔头的老师傅,来复现京剧《穆桂英出征》中的头冠。但老师傅说,制作这东西,没有图纸,手艺都是口口相传的,靠的是自行领悟。

  这种“只可意会不可言传”,也给数字化扫描带来了难度。

  在困难中,翁冬冬也更深刻体会到这一项目的意义——它其实也是在数字化保存那些正在消失的东西。

  “做梅兰芳先生的孪生数字人,不仅是一个技术实现的过程,也是一个科技和传统文化融合的过程。”翁冬冬说,亲身实践,才会碰到纸上谈兵时不曾想过的问题。融合没那么简单,确实需要双方的磨合、互相倾听和耐心沟通。

  目前,最为人熟知的数字人,当属虚拟偶像。一些主要采用AI换脸技术的数字人,也活跃在市场上。翁冬冬说,从长远来看,三维化的数字人数字资产价值会更高。特别是元宇宙,天然就需要以三维为基础,所以数字人是构成元宇宙的重要基础元素。

  “未来数字人可以成为人机交互的界面,成为人工智能的一个入口。毕竟人还是更容易接受和‘人’沟通交互。”翁冬冬说,但要让高逼真的数字人一颦一笑一举一动都不出戏,还有很长的路要走,“还是要冷静看待数字人的火热。”记者 张盖伦

[责任编辑: 张晓荣 ]
阅读剩余全文(
为你推荐
新华社记者 胡超 摄  中老铁路首发列车驶过中国云南省元江哈尼族彝族傣族自治县境内的元江双线特大桥(12月3日摄,无人机照片)。新华社发(潘龙柱摄)  2021年9月12日,在老挝首都万象北郊的中国中铁二局中老铁路铺轨基地,希达·平蓬莎万(中)跟着中国师傅(右)检查列车。
04
新华社记者王劲玉 摄  在霍尔辛赫煤矿的主井绞车房,绞车每运行一次就可将25吨煤从井下提升到地面。新华社记者王劲玉 摄  上午11点,装有3000吨电煤的火车缓缓离开霍尔辛赫煤矿驶往河南,属于煤矿的保供之旅还在持续进行。
04
包括纽约州在内的美国多个州2日宣布出现更多变异新冠病毒奥密克戎毒株感染病例。包括纽约州在内的美国多个州2日宣布出现更多变异新冠病毒奥密克戎毒株感染病例。包括纽约州在内的美国多个州2日宣布出现更多变异新冠病毒奥密克戎毒株感染病例。
04
冬日,温暖的阳光照耀在内昆铁路云南昭通南站的站台上。新华社记者 杨文斌 摄  11月30日,果农在云南省昭通南站登上5647次列车,准备前往贵州销售苹果。
03
12月2日,新疆乌鲁木齐市南郊山区白雪皑皑,中国救援新疆机动专业支队在此开展冬季救援演练。
03
12月2日,在哈尔滨市香坊区安乐街道理工大学核酸检测点,医务人员在进行消毒。黑龙江哈尔滨市疾控中心公布12月2日0时-11时,哈尔滨市传染病医院报告新增本土新冠肺炎确诊病例3例,均为满洲里市确诊病例在哈尔滨的密切接触者。
03
12月1日,康复出院的先心病患儿与家人在医院工作人员的陪伴下走出福建省儿童医院大楼。12月1日,9名来自西藏昌都的先天性心脏病患儿经过20天的免费医治从福建省儿童医院康复出院,他们和家人将在福建省第九批援藏工作队队员的陪护下返回家乡,开始新的生活。
02
河北省黄骅市引导当地电子信息、新材料、节能环保等高新技术企业依托自身优势,将产品推向国内市场的同时,深耕国际市场,取得良好效益。河北省黄骅市引导当地电子信息、新材料、节能环保等高新技术企业依托自身优势,将产品推向国内市场的同时,深耕国际市场,取得良好效益。
02
在福建省福州市连江县的“海上牧场”,渔民驾船穿梭在一串串彩色浮球和养殖网箱之间,织就一幅海上牧场渔耕图。在福建省福州市连江县的“海上牧场”,渔民驾船穿梭在一串串彩色浮球和养殖网箱之间,织就一幅海上牧场渔耕图。
02
新冠病毒奥密克戎变异株正在全球引发高度关注。新华社记者 郑焕松 摄  11月30日,一架突尼斯航空的航班即将降落在比利时布鲁塞尔附近的扎芬特姆机场。新华社记者 郑焕松 摄  11月30日,一架突尼斯航空的航班即将降落在比利时布鲁塞尔附近的扎芬特姆机场。
01
载入更多资讯
返回
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮