元大期货

提到AR/VR装备你会想到什么？赛博朋克风的画面，照样虚拟与现实叠加带来的科幻感？

当人人的眼光仍聚焦于视觉交互层面时，业内一场有关听觉层面的变化已经悄然兴起。

在谈论这场听觉刷新之前，我们先来感受一下XR时代的“声临其境”。

这是海内人机交互产物平台公司Rokid克日宣布的一组应用于AR眼镜的6DoF空间声场手艺Demo视频。

差异于传统双声道、立体音带来的听觉体验，6DoF空间声场手艺可以在夹杂现实中模拟声源与人耳之间因空间位置转变、有无遮挡物等带来的声音强弱与偏向的转变，从而让AR眼镜为用户带来更具临场感的听觉体验。

什么是6DoF空间声场？

6DoF空间声场实在是声音在三维领域的体现。但这不是简朴的通过更多声道让声音更有立体感，而是和视频空间化同步的音频空间化历程。因此包罗了两个必备要素——3D音频和头部运动的实时反馈。

首先看6DoF空间声场的第一个必备要素——3D音频。传统的5.1声道可以把声音展现在一个水平面上，声音定位因此具备前后、左右两个维度，这被称为2D音频。当一个音频同时还具有上下维度的时刻，这个音频就是3D音频了。

6DoF空间声场的第二个必备要素——对头部运动的实时反馈。在现实天下中，当我们的头部发生转动或位移，声源自己的绝对位置不会改变，而声源与头部相对偏向会发生转变。

举一个例子：在你前方有把吉他正在弹奏音乐，若是你转向右边，音乐声就会相对地变到你的左边；若是你转向左边，音乐声就会相对地变到你的右边。因此，要在夹杂现实中实现更靠近于现实中的听觉体验，就需要准确定位声源与用户头部之间的空间位置，即实现对用户头部运动的实时追踪。

6DoF空间声场的实现需要软硬件高度协同

要知足6DoF空间声场手艺的两个需要元素并非易事，在手艺层面，这需要空间引擎（Space Engine）和音频引擎（Audio Engine）高度融合，并充实行使硬件资源。

空间引擎的焦点事情是虚实空间融合。引擎预先行使三维重修手艺构建舆图，确立虚拟天下坐标系，并增添虚拟物体，设置位姿、形状、材质等属性。

运行时，通过处置传感器数据获得考察者（如佩带AR眼镜，考察者就是人的头部位置）的真实空间位姿和内陆舆图，进而通过舆图匹配获得真实空间和虚拟空间的位姿变换，就可以把位姿统一在虚拟天下坐标系里。

凭证差其余传感器类型和数目，空间引擎可以获得考察者差异类型的自由度（Degrees of Freedom-DoF）信息，从而为音频引擎提供需要的空间信息。

好比人头的自由度分为：既有位移又有旋转的6DoF、只有旋转的3DoF、人头不动的虚拟空间，那对应的音频也就可以分为6DoF空间声场、3DoF空间声场、围绕声。因此，6DoF空间声场手艺就需要获得更庞大的人头自由度。

音频引擎的焦点事情是对音频信号和 HRTFs（Head Related Tranfer Functions，头相关转达函数，简称头传函数）做卷积，天生双耳音频。HRTFs是在水平角（azimuth）、俯仰角（elevation）和距离（distance）这三个器量维度做坐标采样丈量出的卷积核聚集，其准确性是6DoF空间声场出现效果的主导因素。

但现在可商用的HRTFs数据库能到达的精度还未完全与人耳的听辨能力所媲美，更具挑战的是每小我私人的人体工学参数和心理声学系统都差异，甚至会随着岁数增添而转变。

准确丈量每小我私人的HRTFs参数显然不现实，若何才气低成内陆⽣成个性化HRTFs？已经实现6DoF空间声场手艺落地的Rokid手艺团队给出了一个解决思绪，即在思量端上NPU/GPU等盘算性能的情形下，连系深度学习手艺，对更细腻化的因素做出更细腻的天生。

此外，为了增添遮挡、反射、混响等效果，让6DoF空间声场更具真实感，还需要用到诸如几何声学（Geometric Acoutstics）的光线追踪和颠簸声学（Wave Acoustics）的球谐函数（Spherical Harmonics）剖析等手艺。这对装备的算力有着极高的要求，也会给装备带来更大的功耗负荷，增添装备成本和平安风险。以是在现实应用中，往往需要在球谐函数的阶数、语音质量以及空间精准度之间做响应的妥协与平衡。

除了算法层面，6DoF空间声场手艺的应用也要思量装备的硬件形态。当前的许多音频算法都是基于入耳式或头戴式喇叭，但AR眼镜作为未来用户耐久佩带的可穿着式装备，若是接纳入耳式设计不仅会严重地损伤用户听力，更是违反了AR对物理和数字的融合使命，因此，在保持开放式喇叭设计的同时，若何保障6DoF空间声场的出现效果和平安性就成为了新的挑战。

现在，Rokid手艺团队接纳的设施是，通过定向声手艺的研究与使用，来解决隐私性问题。同时，为了让6DoF空间声场的音效更厚实丰满，通过音腔结构的设计、声音频率的修复、凭证人耳听觉做声音谐波及混响等方式增强音质，削减音频效果的损失，让用户真正感受到“声临其境”。

一场声音革命，正在悄然兴起

6DoF空间声场手艺在AR装备上的应用落地，让我们看到了声音在夹杂现实中的广漠应用空间。通过6DoF空间声场手艺，AR眼镜等装备可以脱节视场角（FOV）限制，让用户通过声音发现画面之外的内容，以此实现360度局限的内容出现。

同时，除了视觉层面的交互，6DoF空间声场手艺的应用让听觉也成为了新的交互维度。连系6DoF空间声场，用户可以在夹杂现实中快速准确定位发声物体的偏向，清晰区分吸收到的声音信息，感受声音距离和位置的转变……这将让用户在夹杂现实中获得加倍靠近现实天下的体验，从而进一步降低夹杂现实中数字天下和现实天下的割裂感。

6DoF空间声场带来的全新听觉体验正在袭击统领了泰半个世纪的传统立体声音，但任何一项新手艺的应用和普及都绝非只靠某一团队、某一公司之力，这需要不停降低准入门槛，吸引更多行业气力的加入。

如Rokid就示意将把6DoF空间声场集成到全新升级版的YodaOS-XR操作系统中，作为YodaOS-XR操作系统的基础能力供行业开发者们举行挪用。同时，Rokid还设计推进更多应用于AR眼镜的特殊音效的开发，如围绕与微重低音的高保真音效等，以高效易用的SDK闪开发者真正实现即拿即用。

有新闻称，Rokid全新升级的YodaOS-XR操作系统或将于今年下半年对外宣布，包罗诸多自然交互引擎、友好的UI界面、原生XR应用以及应用开发框架等。届时开发者们能够专注于精品内容的打磨，开发出各种富有想象力的应用和内容，好比XR游戏、XR集会、XR社交、XR影院等，和宽大用户携手进入真正的AR天下。

XR时代的最终目的是虚拟天下和物理天下的完善融合，这种融合主要是对人类与外界举行信息交流的一些方式，如触觉、听觉、视觉、嗅觉、味觉等举行模拟和增强。

6DoF空间声场等手艺的应用拓宽了XR装备的想象界限，也悄然掀起了一场感知交互革命。我们或允许以预见，在视觉和听觉之后，触觉、嗅觉、味觉等“感官体验”也将在XR时代被重新界说。