您当前所在位置:首页>>CF活动大全

cf活动助手下载手机版原创RealityLabs首次向媒体开放,空间音频、EMG腕带体验大公开

来源:珍惜运维|发布时间:2022-11-01 15:24:50|浏览次数:4

cf官网游戏助手下载

原标题:Reality Labs首次向媒体开放,空间音频、EMG腕带体验大公开

今年6月,Tested带大家参观了Reality Labs的光学显示部门,让我们看到了Meta正在研发的4款VR头显原型。而在近期举行的Connect期间,Meta再次将Reality Labs向外界开放,并展示了EMG腕带、Codec Avatar等研发项目的最新进展和上手体验效果。

据了解,Meta这是首次向媒体开放Reality Labs,除了技术讲解外,参观者也可以体验部分技术,这也许是我们离Meta前沿技术最近的一次。以下是外媒CNet参观Reality Labs后的体验感:

一,EMG腕带

EMG腕带是和现有技术完全不同的输入语言,前期可能与手机、VR手柄的操作界面有相似之处,但随着时间的推移人和EMG腕带会互相适应。互相适应指的是人和机器一起学习,将神经接口和运动接口融合,寻找一种符合人体运动规律的及其输入方式。这不是一种新的语言,而更像是在现有的人机交互基础上的升级。扎克伯格表示:物理键盘不支持共同适应,但是智能输入法可以学习你的习惯,而EMG腕带将可以做更多。

目前,EMG腕带的准确率还不够高,无法识别快速的打字动作,但最终它将作为AR眼镜等设备的输入方式。当前,Reality Labs主要在验证EMG手环的实际效果和简易的使用方法。比如通过互相适应原理,使用者只需要细微的动作就能控制EMG手环,肉眼看起来好像手没有活动。

除了控制AR界面外,EMG手环也可以辅助行动不便的人进行输入。实际上,这项技术与一些仿生义肢所采用的技术差别不大。

扎克伯格表示:腕带是AR眼镜的关键,因为我们不想随身携带控制器,而且语音和手部跟踪还不够好。但最终他计划让这些类型的控件完全适用于AR/VR等任何设备。

在Reality Lab,Meta展示了一种连接电脑的EMG腕带,佩戴者移动手指,就可以控制卡通人物在游戏中来回滑动。在经过一段时间适应后,体验者的手似乎停止了移动,但仍然可以玩游戏。这是因为,EMG腕带可使用肌电图来测量微小的肌肉冲动。Reality Labs神经运动接口总监兼CTRL-Labs前首席执行官Thomas Reardon表示,基于反馈的训练过程逐渐允许佩戴者开始缩小他们的动作,最终只使用一个运动神经元。

这项演示看起来很神奇,有点像读心术,但短时间内可能不会实际应用。Reality Labs首席科学家Michael Abrash表示:长期来看,我们希望拥有一个与处理物理世界一样自然和直观的界面,这就是EMG腕带和神经输入方案的目标。未来,Meta希望EMG腕带可以支持更多控制,大约经过5-6年可能才会广泛应用。猜测也许和Meta的AR眼镜进度一致。

此外,使用Meta腕带的人似乎很容易做出动作,但这些都是基本的滑动游戏控制,未来如何在日常AR眼镜中用于更关键的日常使用呢?根据扎克伯格的说法,目前的目标是让技术发挥作用,并通过自适应学习来最终缩小反应动作。

二,空间音频

Meta希望将空间音频技术用于AR眼镜,比如将3D音频放置在房间中,为用户带来身临其境的听觉感受,此外空间音频可以作为AR图像的补充,让AR像是存在/固定在空间中,更令人信服。

值得注意的是,这项技术不仅会识别声音来源,还可以识别回音的方向。实际上,Meta试图做的不仅仅是让音频看起来像是来自不同方向,而是投射音频,让它看起来像是真的来自你的物理房间空间。而未来还会使用手机摄像头来调试个人3D音频,就像是AirPods新推出的个性化空间音频功能那样,但多了逼真的空间映射效果。

据了解,Meta为了研发空间音频,曾斥资数百万美元打造消音室,这个消音室由泡沫墙做成,其中配备了数十个扬声器,来营造空间音频的声音场景,供麦克风识别。体验者表示:在部分情况下,Meta 3D音频的效果足够逼真,当我闭上眼睛时,仿佛可以通过声音感受到有人在周围走动,在我耳边说悄悄话,或是站在我身后。值得注意的是,体验者听3D音频时需要坐在固定的位置,不能移动。

另外一个体验,则是让人分辨声音来自周围的4个音响,还是来自空间音频耳机,结果体验者没能成功分辨,耳机的音效听起来就像是空间中的音响。这个耳机原型并非包耳式设计,而是与人耳有几厘米距离,就像是Index等VR头显采用的耳机设计。

空间音频的一个潜在应用场景,就是AR/全息通话,可以让你更加相信虚拟的通话者和你在同一空间中。外媒CNet表示:通过Reality Labs提供的几种音频体验,我发现该公司的空间音频比我之前体验过的其他技术要好很多,不过短时间内该技术可能还不会实际应用。

cf掌上助手怎么用火线币

三,3D扫描

Reality Labs的研究方案不同之处在于未使用LiDAR传感器。Meta的目标是通过神经辐射场来优化移动摄像头3D扫描的结果,以适合更多种手机型号。Reality Labs的扫描过程大约几分钟,扫描结果的质量不错,可能比非专业人士用手机LiDAR扫描的3D图像效果更好,不过还是有一些肉眼可见的瑕疵。

Reality Labs还演示了一个基于VR的辐射场体验,简单来讲就是通过图像中光的图案来生成细致、逼真的3D模型,然后在Quest Pro头显中以VR形式显示并交互。体验者表示,Meta扫描了多刺的仙人掌和毛茸茸的小熊,在VR中查看这些物体的模型时,可以看到很多逼真的细节(如毛发、刺等等)。此外,这些3D模型还可以模拟实时的光影变化,与虚拟场景产生互动(比如台灯)。

简单来讲,Reality Labs希望通过移动端3D扫描来生成支持物理交互的3D模型,并将这些3D模型引入VR内容开发中。不过,目前这项技术还需要数小时计算才能生成3D模型,还不能实际应用。体验者表示,尽管3D扫描质量和3D模型融合效果还不够理想,但Reality Labs展示的技术让我们看到了更好的虚实融合的可能。

不过考虑到目前市面上已经有不少可用于AR/VR的优质3D扫描和渲染方案,由于还不清楚Meta的3D扫描方案有多快、多容易使用,因此很难判断它是否在日常使用中足够有效。总之,尽管手机已经可以实现3D扫描,但其实际效果还不够理想,还没到任何人都能使用的水平。

cf助手2.9

四,Codec Avatar

在Reality Labs,外媒还体验了Meta第二代Codec Avatar,体验过程是通过逼真的虚拟化身在VR中与其他人远程交流。Meta在演示Codec Avatar时采用了一种特殊的面部追踪原型,而并非使用Quest Pro,面部追踪原型的效果似乎会更好,可捕捉到快速变化的面部表情。

体验者表示:我在VR中看到了讲话人上半身虚拟化身,但画面较暗,仿佛在暗房用蜡烛打光。据悉,体验中使用了基于可调光源容积捕捉制作的3D虚拟化身,展示虚拟化身的光影对比度是重点,可能因此才将通话场景设置的较暗,这样虚拟化身的细节可以看得更清楚。另外,也可能是受到VR硬件渲染能力的限制。

图像质量方面,体验者表示:Codec Avatar看起来很逼真,我可以在很近的距离查看Avatar的嘴唇动作,以及眼神、微笑、皱眉等面部表情,我感觉自己就像是在跟超逼真的PS 5游戏角色交谈。而且这种通话体验有点面对面对话的感觉,对面的人可以实时做出动态表情。

不过,Meta不认为Codec Avatar会很快在VR一体机中快速应用,一方面是因为VR一体机的算力有限,另一方面就是目前所使用的动捕技术还不适合所有人。

除了Codec Avatar二代外,还展示了精简版的逼真头像方案:Instant Codec Avatars,可通过手机摄像头来进行面部建模。移动端扫描方案需要30秒扫描,90分钟捕捉表情动作,接着还需要几小时去生成3D头像,可应用于移动设备或VR。体验者表示:Meta演示的3D Avatar看起来比我自己用手机扫描的效果还好。不过,这个精简的版本看起来比较僵硬,头部的运动不多,看起来有点像是某种半身人像动画,有点不自然,而且效果甚至还不如Meta Avatars流畅。

另外,Reality Labs还展示了全身Codec Avatar和更换虚拟服装的效果。体验者表示:Reality Labs演示的虚拟服装效果和Codec Avatar虚拟化身一样好,服装材料的褶皱、变形看起来很自然。通过Codec Avatar逼真的换装功能,也许未来Meta还可以发展某种高质量的虚拟服装商业模式和生态。

最后,Reality Labs首席科学家Michael Abrash分享了Meta对于元宇宙的未来愿景。Abrash认为,元宇宙可能会成为继互联网、PC以来最大的一次计算迭代。在Meta、苹果、谷歌、NVIDIA等巨头投资下,AR/VR、3D互联网很有可能会成为现实。

毫无疑问,Meta在AR/VR、元宇宙相关技术进行大量投入,但面对经济大环境增长放缓时,Meta接下来将如何应对?能否为了长期的元宇宙目标而持续投入研发呢?这些都是未来我们需要关注的问题,时间才能告诉我们答案。Reality Labs首席科学家Michael Abrash表示:我很确定在未来20年,AR/VR将成为我们互动的方式,让我们以前所未有的方式做事。但要实现这样的未来,实际上非常非常困难。参考:Cnet返回搜狐,查看更多

责任编辑:

cf在线一键领取网站

©版权所有 2015-2023 CF活动助手一键领取 辽ICP备2021000370号-5 XML地图 TXT地图
友情链接: CF活动助手一键领取