Oculus如何为VR创建逼真音频 兼具直接声、反射声、混响声

  • 时间:
  • 浏览:0
  • 来源:彩神app_彩神app网站_彩神app官方网站登录

科技快报

(图片来源:云图视觉)科技快报

2018年10月29日,大伙 常说眼见为实,但在OC5大会上,Oculus首席科学家迈克尔·亚伯拉什表示准确的声音渲染对创建可信VR体验而言十分关键,而声音渲染的关键地方是模拟环境及其声学效果。科技快报

在题为“Oculus Quest的声音设计”的OC5主题演讲中,音频设计总监汤姆·斯默顿(Tom Smurdon)和软件工程师彼得·斯特林(Pete Stirling)探讨了怎样为Oculus Quest和Rift创建高保真度的音频体验,并分享了某些即将登陆Audio SDK的未来技术。Oculus日前向大伙 儿分享了Facebook Reality Labs的幕后工作,以帮助大伙 儿进一步了解哪些最新进展。以下是映维网的具体下发:科技快报

1. 深入问题图片图片科技快报

当声音在现实世界中产生时,它以繁复的法子 与环境相互作用。物体的振动原应声波在空气中传播,而墙壁,地板和天花板等表表皮层会散射它们。好多好多 声音在到达大伙 儿耳朵时候就将会处于了改变。大伙 儿听到的声音实际上是原始信号源在不一同间点传来的一系列回声总和。将会声源可见,大伙 儿听到的第另另一个多多多声音是直接声,它沿着从声源到听者的最短路径传播。接下来,从附进表表皮层反射的声音将从各个方向到达听者。大伙 儿将其称之为早期反射声。声音的其余部分则是混响,它由一系列的延迟回声(随时间而平滑地衰减)组成。科技快报

在时候,大多数用于VR和游戏的音频渲染系统只能准确渲染直接声。但令人惊讶的是,大多数房间的反射和混响声远远超过直接声。为了获取更逼真的音频,声音设计师还要手动将混响区域加上到虚拟环境中的每个位置。这是另另一个多多多耗时的过程,还要小量的参数调整,手动作业,以及专业知识才能实现好的结果。科技快报

Facebook Reality Labs(FRL)在17年时不时在努力创造高质量的声学模拟技术,令其还要根据环境的几何社会形态自动生成反射和混响。今天,映维网想向大伙 儿分享FRL音频团队的研究人员是怎样处置你你你这种问题图片图片。科技快报

科技快报

(图片来源:云图视觉)科技快报

2. 研究团队科技快报

四年前,当研究团队经理拉维什·梅赫拉在FRL创立音频团队时,他设想过创建另另一个多多多虚拟音频在感知上与现实音频无法区分的虚拟世界。他知道为了实现你你你这种未来,他还要处置的第一阶研究问题图片图片是高质量的空间音频和高效的房间声学。在接下来的几年里,他现在开始英语 英语 进行小量的研究工作以处置空间音频问题图片图片,一同寻找合适的人才加入以处置房间声学问题图片图片。科技快报

梅赫拉表示:“处置房间声学问题图片图片的计算成本非常高,我知道准确模拟环境的声学效果仍然缺陷。大伙 儿提出的任何法子 都还要满足实时VR应用程序运行运行提出的严格计算和内存限制。”科技快报

2017年夏天时不时跳出了另另一个多多多独特的将会,当时卡尔·席斯勒时候完成了他在北卡罗来纳大学教堂山分校的博士学位。席斯勒曾在FRL音频团队度过了两次暑期实习(梅赫拉是他的实习导师),而他非常适合成为开放式房间声学首席研究员。科技快报

席斯勒解释道:“我是去年现在开始英语 英语 在Facebook Reality Labs工作,当时我接受的任务是创建另另一个多多多还要实时模拟所哪些繁复声学的系统。从我很小的时候起,我就想为游戏创建更好的音频。那时候,我会通过在声音效果中加上混响来修改我最喜欢的游戏。多年后,我很高兴现在终于有将会研究你你你这种将会会对VR音频质量产生巨大影响的技术。”科技快报

由研究科学总监菲利普·罗宾逊领导的心理声学小组也在项目中发挥了关键作用。博士后研究科学家塞巴斯蒂安·加里进行了一项实验,以选用声学模拟的哪些方面对准确模拟而言最为重要。凭借扎实的心理声学基础,FRL音频团队才能对新音频技术进行感知评估,从而为未来的研发提供信息。科技快报

3. 计算资源挑战科技快报

对于声学的真实模拟而言,最大障碍是其所涉及的计算繁复性。行业处于一系列基于数值波解算器或几何算法的现有模拟技术,但它们就有支持在当前硬件上实时运行。它们还要快速的多核CPU或GPU,但即使是原来,它们一次也只能模拟小量声音源。加上另另一个多多多游戏引擎并执行各种图形,物理,AI和脚本,我就看得人获取必要数量的资源是多么困难。科技快报

处置你你你这种问题图片图片的典型法子 是:进行长时间预计算以模拟每对听者与声源位置的声学响应。在运行时,还要向该数据插值每个声源的响应,并用于过滤声源的音频。实际上,这为繁复场景增加了小量数据。原来缺点是,将会所有声学响应就有预先计算,有时候只能时不时跳出改变声音的任何动态场景元素。这原应关上门都无法阻止你听到声音源,而可破坏的环境或用户创建的环境则是全版不将会实现。科技快报

在FRL,大伙 儿面临的挑战是开发原来有你你这种法子 :使用尽将会少的计算和内存资源,有时候一同能为繁复场景渲染高质量音频。标准很高,典型的游戏将会有数百个并发声源还要模拟,好多好多 计算预算非常紧张。另外,模拟需却说 动态进行,以便才能实现最广泛的沉浸式音频体验,一同不受长预计算时间的影响。科技快报

4. 音频创新科技快报

为了处置你你你这种挑战,席斯勒花了将近一年的时间来完善模拟引擎。他指出:“我还要利用我就要想到的所有技巧和优化法子 来构建具有所需功能的系统。”科技快报

为了有效计算声音在3D环境中的传播,研究人员利用了先进的射线追踪算法。传统的声线追踪还要每秒追踪数百万条射线,而这还要小量的计算。科技快报

席斯勒开发的优化功能还要在保持高质量和动态场景元素的一同大幅减少射线数量。使用随机射线追踪时最大的问题图片图片是,处于将会原应伪音的噪声。为了处置你你你这种问题图片图片,研究人员开发了巧妙的降噪算法来滤除模拟结果中的噪声。科技快报

当场景中的声源数量增大时又会时不时跳出原来问题图片图片图片。在另另一个多多多简单的实现中,计算时间将根据声源数量成比例地增加。令新技术可行的关键进步之一是,感知驱动的动态优先级与声源集群系统。通过开发才能将不重要或远距离声源集中在一同的智能启发式算法,研究人员才能在非常繁复的场景中显著缩短计算时间。科技快报

5. 提升沉浸感科技快报

利用FRL开发的创新方案,研究人员才能实现项目的最初目标,有时候为由空间音频技术(Spatial Audio Tech)负责人罗伯特·海特坎普(Robert Heitkamp)领衔的Oculus Audio SDK团队提供工作原型。在OC5大会上,音频设计总监汤姆·斯默顿和软件工程师彼得·斯特林介绍了你你你这种系统。在演讲期间,浸淫游戏音频行业多年的斯默顿谈到了你你你这种原型:“即便哪些看得人得人,你还会知道某些人哪些时候站在墙边。我就感受到一切,这非常不可思议。我对大伙 现在所取得的进展感到非常兴奋和高兴。”科技快报

席斯勒补充说:“当你第一次在VR中听到逼真的音频模拟时,你将会为它对沉浸感的提升程度感到惊讶。真实的音频渲染甚至还要发挥协同作用,令视觉效果看起来更好。”科技快报

6. 灵活创造性科技快报

团队在开发这项技术时的主要目标之一是,为声音设计人员提供支持,帮助大伙 才能轻松地在VR中创建逼真的音频体验。 大伙 还希望为美术提供参数,帮助大伙 实现创作愿景。席斯勒指出:“有时候你不希望它听起来200%真实。在对话过程中,你将会希望降低混响的数量,从而确保还要理解角色的意思。这项新技术拥有这样灵活性。”科技快报

现在,设计师从不为每个房间设置繁复的参数集,只还要为几何图形指定材质属性即可。模拟的动态社会形态就利于内容创建者:美术还要在模拟运行时调整参数,与预计算的声学模拟相比,这大大减少了迭代次数。科技快报

7. 未来任务科技快报

随着FRL音频团队将会实现了开发高效仿真引擎的目标,现在大伙 正致力于改进技术以模拟某些声学问题图片图片。有一系列的声学问题图片图片目前难以模拟,如衍射和透射。团队接下来的目标是研究能有效计算哪些效果的新法子 。席斯勒表示:“有时候我大伙 儿才能继续推进发展音频领域的先进技术。我为所有游戏都能拥有你你你这种级别音频保真度的那一天感到兴奋。”科技快报

在OC5的主题演讲中,迈克尔·亚伯拉什描述了为VR和AR生成逼真音频而还要处置的问题图片图片。除了房间声学模拟之外,空间音频的原来挑战是头相关传递函数(HRTF)的个性化实现,以针对每位用户定制3D空间线索的法子 生成音频。亚伯拉什解释说,HRTF的个性化问题图片图片将会还要比预期更长的时间才能处置。从好的方面来说,在实际可用的HRTF个性化才能实现时候,纳入对环境的声学模拟将会利于提升沉浸感。科技快报