00的 XR 周刊 06 - 空间音频

00•XR空间音频交互HCI

Sound is 50 percent of the movie going experience

—— George Lucas

“声音是体验的一半” 。这句话出自乔治·卢卡斯，他是《星球大战》系列电影的制片人和创作者。声音设计在电影中一直扮演着重要角色，它能极大地影响观众的体验。声音在电影中被用来营造气氛、传达情感，并增强整体的故事性。它是电影制作过程中不可分割的一部分，通常与电影的视觉一样受到重视。声音效果、音乐和对话都在创造电影的氛围和情绪方面发挥着作用，并能帮助传达人物的情感和动机。

什么是空间音频

空间音频（spatial audio）使用声音来创造三维空间的印象。它使用专门的音频技术，在三维空间中准确再现声音，使听众能够感知到声音相对于自己的位置和距离。空间音频的应用很广泛，包括娱乐（如电影和游戏）、远程会议、虚拟现实和增强现实。它可以帮助创造更加真实和身临其境的听觉体验，让听众感觉完全融入到场景或环境中。

音频对 XR 的体验至关重要，高质量的空间音频增强了沉浸感，让人感觉身临其境。当听众置身于场景之内，而不是从远处观看时，最有临场感。例如，在 XR 场景中，移动的对象从用户的头顶呼啸而过，远比只播放一段与位置无关的音效要更吸引人。混合现实应用通常比 2D 应用更需要声音加强引导和交互，因为它们缺少触觉界面。

那么，空间音频是我们平时听到的“环绕声”吗？

从概念看它们有相似之处。环绕声使用多个音频通道和扬声器来创造声音来自不同方向的印象，而空间音频指的是使用声音来创造三维空间的印象。虽然两者都使用多个音频通道和扬声器来创造声音来自不同方向的印象，但主要区别是，环绕声通常用于增强观看电影或听音乐的体验，而空间音频则用于创造虚拟环境中的沉浸感。

在一个环绕声系统中，通常有固定数量的音频通道和环绕聆听区域的扬声器。例如，在 5.1 环绕声系统中，有五个主音频通道和一个产生低频效果的重低音通道。通过平衡各音频通道的音量和时间，可以使声音听起来像是来自听众不同方向。一般的立体声扬声器只根据声源到耳朵的距离来调整左右耳的输出音量。有时候为了获得更真实的效果，还会包括因距离而产生的个别信号延迟。但还是无法区分音源的具体方向和位置，这对 XR 来说通常是不够的。

XR 中的空间音频技术

在 XR 应用中，空间音频一方面实现声音环绕感，让用户听到来自不同方向和距离的声音，增强虚拟环境中的存在感和沉浸感。另一方面实现声音交互，提供环境中物体的位置、距离和运动的提示，使用户接收的声源声音随着动作产生变化，帮助用户在空间中定位和完成交互，这在 AR 体验中尤其重要。

下面介绍常见的创建空间音频的技术。

双耳音频

使用两个独立的音频通道来创造 3D 声音的效果。每只耳朵有一个麦克风，模拟声音到达听众时被头部和耳朵过滤的方式来捕捉声音。当音频通过耳机回放时，听者可以感知到声源的方向和距离。

要在 XR 中使用双耳音频，需要使用专门的软件和硬件。首先使用双耳麦克风录制声音，它模拟了头部和耳朵过滤的效果来捕捉声音。采集声音后，用音频工作站编辑和混合声音，用双耳音频插件或其他专业软件，将声音编码为专用格式。

接下来将双耳音频集成到 XR 应用中，这可能需要使用 Unity 或 C# 脚本语言。完成后，使用 HMD 测试音频效果并进行调整，以确保它在虚拟环境中的平衡和定位正确，能增强整体体验的存在感和沉浸感。

立体混响声音频

Ambisonics 是一种环绕声录音和再现系统，可以捕捉和再现来自各个方向的声音，以创造一个完整的、360° 的空间声场。这项技术已经有 50 多年的历史，直到最近才被广泛用于 VR 应用中，以创造身临其境的音频体验。

在录制立体混响声音频时，使用多个麦克风和扬声器，按照特定的布局排列，以特定的配置捕捉各个方向的声音。捕捉到的声音经过编码，将多声道的音频转换为单声道信号，然后用扬声器或耳机回放。

HRTF 技术

HRTF 技术是指头部相关传递函数，它使用算法来模拟声音到达听众时被头部和耳朵过滤的方式，创造出 3D 声音的印象。基于 HRTF 的技术可以与耳机或扬声器一起使用，以创造空间音频。

波场合成

另一种创造更真实的空间声音的方法是波场合成，目的是记录真实事件的波场（如音乐会现场），并能在任何时候再现。波场是由大量的扬声器产生的，这些扬声器必须安排在播放区域周围。扬声器由计算机操作，控制声音的定位和再现。

如果你愿意支持 00 持续创作，欢迎到爱发电给我充电 😊

更多资源

© 00RSS