您当前所在位置:首页>>CF活动大全

cf手机游戏助手华为专家对话上交大教授:三维数字内容与日俱增,图形学发展遇到了哪些挑战?

来源:CF一键领取|发布时间:2022-10-26 23:23:43|浏览次数:18

cf装备助手更新

原标题:华为专家对话上交大教授:三维数字内容与日俱增,图形学发展遇到了哪些挑战?

出品 | 搜狐科技

作者 | 张雅婷

科幻作家刘慈欣曾说过,人类面前有两条路:一条向外,通往星辰大海;一条向内,通往虚拟现实。在这条向内的路上,人们从未停止对虚拟世界的想象与探索。

早在1968年,计算机图形学之父伊万·萨瑟兰教授便发明了第一个VR头显HMD(Head Mount Device)。30年前,斯蒂芬森在小说《雪崩》中首次提出元宇宙概念。

如今,元宇宙已成为科技行业最火热的概念之一。去年,游戏公司Roblox以元宇宙概念上市,Facebook改名为Meta,VR/AR设备出货量历史性突破千万台。几十年前便提出的元宇宙概念在当下爆火,背后是VR/AR、通讯、图形学等技术发展到了一定的高度。

其中,图形学被业界认为是元宇宙最核心的基础技术。这是因为想要构建出画质精美、高度逼真的虚拟世界,必须要借助图形学以假乱真的力量。

在元宇宙产业蓬勃发展之际,三维数字内容需求与日俱增,图形学的发展也面临着不少新的难题。

要达到相对成熟的元宇宙需要哪些关键技术?算力是制约图形渲染质量的主要原因吗?三维数字内容大批量生产难吗?为解答行业关注的热点话题,搜狐科技与HMS Core 共同策划了系列谈话节目《对话》。

本期邀请到上海交通大学软件学院教授杨旭波以及华为2012中央软件院图形技术专家Barry,共同交流图形学所面临的机遇与挑战。

以下是访谈内容精编:

搜狐科技:对于普通人来说,元宇宙出现的意义何在?比如所谓的虚拟社交,人们也可以通过微信进行。两位嘉宾认为,元宇宙所畅想的沉浸式体验是刚需吗?

杨旭波:我打个比方,在视频会议时,大家没有眼神交流,你并不知道对面那个人是看着哪里,也没有及时回馈,用户可以很明显感觉到是隔着屏幕在跟对方交流,没有共享同一个空间。

人的大脑对空间感知非常强,要复制这种感受对虚拟现实技术要求很高,目前我们主要是通过图形学复制视觉,听觉、触觉也有一些研究,但是嗅觉、味觉就比较少了。脑机接口可以达到比较极致的状态,用虚拟的信号全部去替代神经系统。但这种技术也是双刃剑,有被机器控制的风险。

Barry:目前的主流社交软件提供了比较基础的通讯能力,但不能完全替代人类在现实生活中所需要的社交。比如,我们还是希望大家能够在一起面对面娱乐、欣赏风景,和远方的朋友有更多交流等,这就需要通过虚拟现实去实现。所以我认为沉浸式体验是一种刚需,但这需要更高层次的虚拟现实才能实现。

搜狐科技:要构建起高度逼真的虚拟世界,计算机图形学是最为重要的一环,因为它的作用就是通过算法向用户呈现以假乱真的三维效果。图形学之于元宇宙的意义是什么?元宇宙的发展是否与图形学的发展高度相关?

杨旭波:计算机图形学技术是元宇宙最核心的基础,可以说是从0到1的技术。如果没有计算机图形学,就没有虚拟现实、元宇宙。与此同时,元宇宙也给计算机图形学带来了新的技术挑战,因为元宇宙表达了一个超前的愿景,比如空间要无限大,精度要无限高,延迟要非常低。

搜狐科技:元宇宙需要表现一个有形体的、看得见的数字世界,这对三维数字化的要求很高。随着三维数字内容需求的高速增长,图形学面临的挑战是什么?三维数字内容大批量生产难吗?

Barry:3D内容生成是非常有技术含量的,成本也比较高,因为所含的信息量非常庞大,需要专业人士进行长时间采集,后续还要调教、修改。即使是小规模,但高精度或者动态的三维数据,都需要耗费大量人力和时间。

杨旭波:在三维建模时,比如造一个元宇宙里的房子,需要很多美术师把房子的砖瓦一个个搭出来,后续还要把材质给贴上去,光照打上去。三维建模是元宇宙构建中劳动力消耗非常高的环节,也是需要计算机图形学去提高效率的环节。

搜狐科技:从业界来看,HMS Core也对图形领域技术有所布局,并向开发者开放了相关能力,您认为HMS Core这样做的思路是什么?重点想解决哪些问题?

Barry:HMS Core本质上是华为面向开发者持续开放的软硬件和端云能力,我们希望广大开发者充分利用我们的开放能力,在移动应用中呈现出高性能、低功耗的画质,并将这些能力用在不同的场景当中,比如游戏、购物、VR/AR等。

cf花花助手

为了方便大家接入3D场景,我们提供一些通用的接口,甚至和引擎方合作,把一些功能做到通用的3D引擎当中。HMS Core希望通过将图形学发展的应用与技术的进步开放出来,把更加精美漂亮的视觉效果呈现出来,让广大消费者拥有更好的体验。

搜狐科技:一般来说,图形学主要分为建模、渲染、模拟、交互等方向。元宇宙的场景搭建和人物角色设计,都离不开3D建模。所谓3D建模,就是通过获取真实世界的三维信息,在计算机中形成模型。从3D建模发展现状来看,不少从业者吐槽这是个劳动密集型工作,美术流程占比大,两位老师怎么看图形建模领域发展的痛点?

Barry:这的确是一个非常大的痛点,不同的行业所涉及的建模需求不一样。比如卫星导航数据,需要通过飞行器扫描大地图像,对模型精度要求特别高。而创造游戏内容,需要从零开始构建虚拟化模型,精度要求相对较低,好看更重要。

计算机可以进行辅助,替代人工解决比较冗余的、枯燥的流程,但是还有一些问题无法解决。比如说通过城市化生成工具,自动创造出比较宏伟的城市,但是模型生成以后还想修改怎么办?当前这种程序化生成都是单向操作,逆向操作会碰到很多障碍。这种情况下,仍然需要大量美术工作,去进行细枝末节的校正。

cf活动专区领取

这种痛点会长期存在,随着技术的发展可能有所好转。但最终无论如何还是会有人参与,因为最终的准确率光靠机器评估不够。

杨旭波:目前有一些新的技术,试图去逐步改善传统数字内容生产的流程。比方说从现实世界复制物体到虚拟世界里面,以前可能需要专业的人用扫描仪去做,现在有一些技术可以让普通的人用手机去做,以此降低生产建模的成本。

搜狐科技:前不久业界出现了新的文本3D生成模型,这种模型是基于什么原理?优越性和局限性是什么?

杨旭波:这里提到的应该是Dreamfusion模型,这个模型是依据从文本到图像的扩散模型来做的,通过提取大量图像数据的标签关键词,生成对应的2D图像,再利用最新的Nerf(神经辐射场)技术,生成3D模型。

它的优点是不需要3D建模,而是通过神经网络,跨模态地把文字、图片以及三维模型关联起来,所以做出来的图形模型质量非常好,可以用在很多游戏里面作为初始模型。但局限性是做出来的东西太相似了,以及细节还不太好,比如棱角不太分明、分辨率不太够。整体来看,跨模态是三维建模的一大发展趋势。

搜狐科技:渲染技术是提升数字世界画面真实度的法宝,比如让皮肤、毛发细节贴近现实。元宇宙概念中所提到的沉浸感、低延迟等特征,也对渲染能力提出了更高的要求,两位专家怎么看目前图形渲染技术发展现状,算力是制约渲染质量的主要原因吗?

杨旭波:我觉得算力是制约原因之一,因为处理的数据量变大了。比如,VR/AR设备屏幕离眼睛非常近,对清晰度、视野、延时的要求很高,单位时间要处理的像素个数,远远大于手机、电视。

算力之外,算法本身也需要改进,如果在元宇宙场景依然用传统的渲染方法,即针对屏幕上的每个像素平均分配计算资源,会导致算力的极大浪费。

从人的视网膜角度来看,有个区域叫中心凹,视锥细胞分布最多,对画面质量要求最高。但是周边区域的视锥细胞会减少,视杆细胞多一些。视杆细胞主要感知亮度,对画面的质量可以降低很多。

所以如果渲染算法能在中心凹区域分配更多的计算资源,在周边区域降低计算资源,就可以极大的利用好算力,这是目前在虚拟现实渲染领域一个非常重要的发展方向。

Barry:本质上来说,因为算力受限,我们要用不同的技术来解决不同的问题,来满足对时效性的要求。比如,渲染沙发和渲染叶子,其实走的是不同的管线。

我们现在的图形硬件能力已经比10多年前进步了很多,但在人们不断提升的画质要求以及越来越丰富的视觉概念面前,还是稍显局促了。

搜狐科技:饱受关注的光线追踪技术,能让画面更加真实,但由于对算力要求较高,暂时主要在PC和游戏主机上大热。您认为光线追踪技术未来会在移动端普及吗?

Barry:如果说元宇宙追求高真实感的交互能力,那么无论在移动端哪个平台,光线追踪技术肯定绕不开,因为只有这种技术能带来最真实的画面效果。

目前光线追踪技术在移动端的落地主要受制于硬件,很多功耗带宽的问题尚待解决。从长远的角度来讲,光线追踪技术在移动端落地很有必要,因为不能指望所有真实的画面都受限于固定主机。

搜狐科技:要达到相对成熟的元宇宙,在软件层面,两位专家认为还需要哪些底层技术的支持?哪部分是难以突破的攻坚点?

Barry:元宇宙要的不是某一个技术,而是一个平台,包含一整套工具链、一套完整的技术链。业界有一些第三方引擎提供了可以参考的能力,但有一定局限性。元宇宙场景非常丰富多彩,对平台的能力是要求非常高,这也是为什么我也会逐步搭建这样的基础框架平台,比如HMS Core里面构建包括3D渲染、3D建模的等能力,工程量非常大。

杨旭波:元宇宙对底层的计算技术有很多挑战,如果优化只停留在上层引擎,很难做到最优。元宇宙来了之后,以前的硬件架构和操作系统来支持比较困难,行业需要专门针对元宇宙的芯片、操作系统等等。

总结而言,杨旭波和Barry两位嘉宾都认为,元宇宙概念爆火的背后,其实是VR/AR、图形学等技术发展到一定高度。由于人脑对空间感知非常强,元宇宙所畅想的高沉浸感是人们的刚需,目前主流社交软件提供了比较基础的通讯能力,但不能完全替代人类在现实生活中所需要的社交。

与此同时,元宇宙也对图形学技术提出了更多挑战。随着三维数字内容需求的激增,如何实现三维数字内容大批量生产成为一大难题。为此,图形学研究呈现出一些新的发展趋势,比如通过与人工智能的结合推出文本3D生成模型;在图形渲染算法中根据视网膜视锥细胞和视杆细胞的分布,来更智能地分配算力资源。

而想要达到更成熟地元宇宙,除了需要图形学的与时俱进,还需要一系列软硬件技术的优化,比如终端设备、芯片、操作系统、网络通信等。

如果您对华为HMS Core的开放能力感兴趣,请您移步华为开发者联盟官网查阅更多HMS Core相关信息。华为开发者大会HDC 2022将在11月4日 – 6日在东莞松山湖举办,您也可以查看HDC官网https://developer.huawei.com/consumer/cn/hdc/hdc2022/index.html,浏览图形技术分论坛的相关信息。

返回搜狐,查看更多

责任编辑:

cf意见助手

©版权所有 2015-2023 珍惜CF辅助 XML地图 TXT地图
友情链接: CF活动助手一键领取