多视角4D人脸扫描系统 给AI装一双“慧眼”

2024-05-08 10:38来源: 中国科学报

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  图像识别、智能助手、虚拟人、文生视频……技术的发展和创新让人们进一步向智能时代迈进。然而,目前运用人工智能(AI)技术呈现的图像画面大多是二维效果,在空间、时间和细节方面仍有较大上升空间。

  如何为AI装一双“慧眼”,让画面更清、更细、更自然?

  近日,《中国科学报》记者从中国科学院深圳先进技术研究院(以下简称深圳先进院)了解到,该院集成技术研究所(以下简称集成所)机器视觉研究中心研究员宋展团队自主研发出多视角4D高精度人脸三维成像系统。相较传统的3D人脸扫描技术,该系统在精度、分辨率和速度上均实现大幅提升,可应用领域包括但不限于人脸识别、医疗诊断、影视特效等。

  人脸扫描更快、更清、更细

  据介绍,研究团队开发的多视角4D人脸扫描系统,由3个不同近红外波段的结构光相机构成,底层算法采用团队提出的高频条纹位移编码三维重建方法,可以实现1080P(1920×1080像素)分辨率下超过100帧每秒的三维扫描速度,基于GPU的高并行三维重建算法可实现高达300赫兹的实时重建速度,且深度成像误差小于0.05毫米。

  “每个深度相机都由一个近红外结构光投影光栅和一个工业相机组成。深度相机每重建一次,投影仪都要向被测物体投射一组预设高频条纹图案,并用相机拍下它们在被测物体上产生变形的图案。最终,根据相机拍到的变形图案分析得到深度信息,即3D信息。深度相机实现连续扫描,增加了时间轴信息,由此得到4D信息。”深圳先进院集成所在读硕士生吴迪解释说。

  此外,为实现多角度更为完整的三维人脸动态成像,该系统采用3种不同波段的近红外光作为光源,既能避免人脸产生炫目,又能避免3套设备投影仪投射的图案相互干扰,大大改善了成像完整性。

  “近红外光对人眼友好,但对皮肤具有一定的穿透性,使得投射的高频光栅图案模糊,降低了三维重建精度。”宋展表示。对此,研究团队采用了创新的图像增强算法,结合高鲁棒性的条纹编解码算法突破,提高了解码投射图案的相位计算精度,从而提高了三维重建精度。与此同时,研究团队还要考虑算法的实时性和并行性,为3D动态模型获取、头部姿态估计和面部表情迁移等基础工作的研究提供高精度数据支持。

  支撑AI生成更高质量三维数据

  宋展介绍,该系统在多个领域应用前景广阔。例如,在新型显示技术领域,有望为全息投影、空气成像等新型显示技术以及AR显示终端,提供三维数据采集设备;在影视领域,可实时捕捉演员的高精度面部表情,结合表情迁移技术,实现从真人的表情到卡通形象的表情迁移;在游戏领域,可捕捉用户面部信息,结合视线追踪技术,实现人机交互;在医疗领域,可帮助提供患者面部表情信息,助力医疗诊断等;在人形机器人领域,可为机器人提供更加精确、敏锐的4D视觉感知方法,让其从只能干粗活变成干更多精细活。

  AI技术的发展,很大程度上依赖于数据驱动。

  “二维平面上生成的图像或视频往往难以呈现真实世界的三维结构,未来,AI技术生成的视频将逐渐从二维向三维发展。想要生成更高质量的三维视频,离不开三维数据的支撑。”宋展说。

  该系统可以为“3D+AI”研究提供真实、精细的高质量三维数据,解决目前该研究领域高精度三维数据不足的问题,为AI模型生成更高质量的视频提供实时、高精度、高分辨率的数据支撑。

  据了解,目前,研究团队已将该技术运用于电影特效、特种加工、面部3D诊疗、动态3D视觉引导装配等方面,并取得了良好的效果。

  未来,研究团队将进一步加强底层算法研究,提高编码效率成像速度,降低硬件成本,研制模块化高时空分辨率4D成像器件,并将其应用于工业和信息通信等更多领域,为新质生产力发展提供锐利的视觉成像技术支撑。(记者 刁雯蕙)

  《中国科学报》 (2024-05-08 第3版 领域)

[责任编辑: 焦子原 ]
阅读剩余全文(
为你推荐
5月19日,是中国旅游日。有趣的人生,一半是山河湖海。一次旅行,就是一次知识的积累,一次视野的开拓。正值夏日,让我们跟随名家的笔触,去感受那些名山大湖的盛景。
19
在我们今天的社会生活中,博物馆扮演着越来越重要的角色,是很多人休闲娱乐、学习研究的重要场所。在景德镇御窑博物馆,人们通过一件件精美的瓷器艺术品和数字光影展,打开了一扇通往中华瓷器艺术宝库的大门,感受中国传统瓷器工艺的登峰造极……
19
作为国家创新型城市,佛山因地制宜发展新质生产力,积极构建“人才引育+技术研发+成果转化+产业应用”的协同创新体系,以科技创新催生新产业、新模式、新动能,促进产业与科技互促双强。
18
中国海军第45批护航编队完成亚丁湾、索马里海域护航和中伊俄“安全纽带-2024”联合演习等任务后,17日顺利返回山东青岛某军港。
18
这条巨龙就是北京八达岭长城。夜色下的八达岭长城有着和白天不一样的美,她更深邃、更安静,仿佛无声讲述着千百年来的历史赓续。
18
当日,巴黎奥运会资格系列赛上海站开启首日赛事。
17
5月15日,法国制片人阿东·苏马什(中)在法国戛纳举行的中外电影合作交流会上发言。来自中国、法国、意大利等国的数十名演员、导演、制片人等纷纷表示,期待中外电影界开展更多合作,共享中国电影市场发展新机遇。
17
新华社发  2021年1月5日在广东省四会市博物馆拍摄的暴龙超科牙齿化石。新华社发  2020年6月6日拍摄的暴龙超科牙齿化石清理修复前的状态。
17
5月13日,中国海警3502舰为其他执法舰艇进行海上补给(无人机照片)。近期,中国海警在我国黄岩岛海域开展维权执法活动期间组织日常训练。近期,中国海警在我国黄岩岛海域开展维权执法活动期间组织日常训练。
16
载入更多资讯
返回
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮