空间音频|看听觉科技如何营造“沉浸感”
空间音频|看听觉科技如何营造“沉浸感”
沉浸感在大部分的娱乐或学习活动中,都是非常重要的。比如,在阅读一本书时,你需要让自己逐渐沉浸到书的内容中,完全进入书中的世界,才能充分享受到阅读的乐趣,对书中的内容产生深刻的理解。在看一部时,你需要被“抓住”,逐渐忘记自己身处院的现实,完全进入银幕中的世界和故事,才能完整地体会到这部全部的妙处。
沉浸感越高,人们学习和吸收信息的效率就越高。所以,在科技发展的过程中,人们尝试用各种手段,来提升这种“沉浸感”。但麻烦就在于,但这种感觉过于主观,是无被量化的。同一本书,有的人能沉浸进去,有的人则看了两行就心烦意乱;同一部,有的人全程无尿点,有的人睡了两个小时的好觉……
没量化,就只能通过途径。抛开“脑补”不谈,人类接受外界信息的途径主要就是五个:听觉、视觉、嗅觉、味觉和触觉,要营造和提升“沉浸感”,当然也得从这五方面入手。而视觉和听觉是目前的科技最先到达的地方,我们这一期就先来聊聊听觉相关的科技。
营造沉浸感,听觉是一个关键性的技术手段。留声机的发明,终于把音乐“带出”了音乐厅,但只是“听个响”的音乐显然无给人带来仿佛身处现场的沉浸感,于是不少工程师便开始想办。目前公认的立体声技术发明者是英国电气工程师艾伦·布鲁姆伦,他在1933年获得专利的这项技术,是通过两个扬声器表现出声音的方向和深度,从而让听众获得更真实的声场感受。
对于欣赏音乐而言,立体声带来的沉浸感提升是巨大的。音乐不再只是单薄的、平面的,而是可以分辨出层次和方向的。当诞生之后,具有立体声音响的影院也带给了观众更好的体验,而工业反过来又成为了音响技术的重要推动者。
要让观众在看时体会到真正的“身临其境”,仅仅靠双声道的立体声其实是不太够的。1975 年,杜比实验室(Dolby)针对音轨发明了杜比四声道环绕立体声(Dolby Stereo),将四个声道的声音编码在两个声道并记录在胶片上,时通过影院银幕左中右和环绕剧场的扬声器营造四声道环绕立体声,从而实现在胶片有限的空间内记录的环绕立体声。
而当影音行业由模拟信号阶段全面向数字信号转换时,另一家名为DTS的公司也发布了一套多声道音频技术,名字同样叫做DTS(Digital Theater System)。DTS通过与斯皮尔伯格1993年上映的《侏罗纪公园》与观众们见面,而在一年之前的1992年,《蝙蝠侠归来》就采用了杜比数字(Dolby Digital, AC-3)技术, 这个技术巧妙利用了胶片上的有限空间,实现了一个5.1数字音轨和一个模拟备份音轨共存。在后面很长的时间内,杜比和DTS成为了在音频技术领域的一对竞争对手。
《侏罗纪公园》的海报是最早出现DTS标志的海报
而当技术继续进步,“空间音频”成为了新一代音频技术的关键词。
如果说立体声代表着听觉科技的1.0时代,环绕立体声代表着听觉科技的2.0时代,那么空间音频技术的出现,就标志着听觉科技进入了3.0时代。这三者在营造声音的沉浸感方面,是阶梯式递进的。
苹果为Homepod所演示的空间音频场景
空间音频是指一种使用沉浸式音频技术,以人为音场核心,能够精准呈现出三维空间的广阔声场效果,还原出更具现场感、距离感、方向感、移动感的音乐体验。最卖力地推广空间音频技术的厂家自然是苹果公司,它们的智能音箱Homepod系列和蓝牙EarPods系列都以支持空间音频为卖点——实际上,“空间音频”这个名字,最早也是由苹果提出的。苹果的空间音频技术是软硬件结合的,在增加声音深度和空间感上的做是——通过传感器对播放设备进行,确定设备的位置和使用者的位置,然后通过算自动调整声音的位置和声场的大小,使听众感受到沉浸式的听觉体验。
高振幅低音单元、电机、内置低音均衡器麦克风、波束成形五高音单元阵列
而苹果的空间音频技术,另一个贡献者就是杜比。苹果的空间音频技术是苹果与杜比合作的结果,而在2012年推出的杜比全景声则事实上是更早的沉浸式音频技术。相较于立体声和环绕声的二维平面声场,杜比全景声通过增加声音高度这一维度,让声音真正从平面走向三维,还原了真实世界里人们听声的条件。杜比全景声的另外一个特点是它打破了声道的,并引入“声音对象(audio object)”的概念。任何单个的声音都可以被定义为声音对象,创作者可以在三维空间中任意位置对每个声音对象进行、灵活的定义——大小、远近、在空间中的和移动轨迹等。值得一提的是,除了影院,杜比全景声可以在更多的设备上实现,包括、平板电脑、电视机以及汽车内。杜比实验室商业合作及全球销售副总裁Jier Foncillas表示,除了苹果之外,国内主要的终端品牌如小米、OPPO、联想、海信、TCL、创维等都推出了支持杜比全景声的产品,而蔚来、理想汽车和小鹏等国产新能源汽车也推出了搭载杜比全景声的车型。
杜比全景声相比于立体声技术,让声音更具环绕感和沉浸感
不仅如此,如今也有越来越多的流媒体平台支持了杜比全景声。Jier Foncillas表示,在影视内容领域,腾讯、爱奇艺和优酷等中国主流的流媒体平台都在提供杜比视界、杜比全景声的娱乐内容。音乐内容方面,在Apple Music上线支持杜比全景声的空间音频能之后,目前国内的QQ音乐、酷我音乐以及网易云音乐也都相继上线杜比全景声音乐内容服务。而去年9月,杜比和英雄体育VSPO达成了长期战略合作伙伴关系,为手游的电竞赛事直播带来沉浸式视听体验。在2022年王者荣耀职业联赛KPL夏季总决赛和2022年王者荣耀世界冠军杯KIC总决赛中,在腾讯和B站的直播和点播都支持了杜比全景声。
杜比实验室负责商业合作及全球销售的全球副总裁Jier Foncillas
当然,想要获得更沉浸式的体验,光有“听觉”还是不够的,视觉自然也是更重要的一环。从4K到杜比视界/HDR10+,从IMAX到杜比影院,从VR到XR……关于视觉的沉浸式体验变得更加丰富,而那就是另一个故事了。