個人化 HRTF -- 現代混音的目標

文章來源 : PRODUCTION EXPERT

最近我們聽到很多關於個性化頭部聲道傅立葉轉換（HRTFs）以及為什麼我們需要它們的訊息。但是，每次在進行雙耳錄製時，都需要用它們呢？在這篇文章中，我們探討了何時最適合使用標準或通用的HRTFs，以及何時最適合使用個性化HRTF將音頻轉換為雙耳聲音。

Julian Rodgers 在我們的另一篇文章 What Are Custom HRTFs And Why They Matter? 中提到

「我曾經開設一個音樂科技課程，每年都會遇到一屋子充滿熱情但經驗有限的新學生。我發現有一些音頻範例非常適合吸引對音頻感興趣但還未接觸過的人。然而，最能引起即時回響的是播放雙耳錄音。兴奋的呼喊聲讓我知道誰真正“領會”了其中的魅力，但對我來說，更有趣的是那些感到失望的人。為什麼有些人能體驗到令人信服且身臨其境的感覺，而有些人只聽到稍微奇怪的立體聲錄音呢？」

朱利安的學生們所經歷的情況是，大多數人對這種體驗印象深刻，但有些人則感到失望，這是因為轉換的問題。如果你的生理機能與用於捕捉雙耳錄音的仿真麥克風差異太大，效果就會受到損害。

如果關鍵的合成和消除，對你的聽覺進行了精密調整，卻未能發生在正確的位置，你將面臨不清晰的定位，且無法產生立體聲的效果。這種翻譯過程就是所謂的頭部相關傳遞函數，簡稱HRTF（Head Related Transfer Function）。

How Do We Hear? 我們如何聆聽？

在我們解釋什麼是 HRTF 之前，先了解一下我們是如何聽到的。我們從左到右定位聲音的基本機制很好理解。來自右耳的聲音首先到達右耳，聲音稍大一些，而左耳被位於耳朵和聲源之間的頭部所掩蓋，因此聽起來略有不同。然而，這並不能解釋我們如何感知聲音是從我們身後或上方傳來的。為此，我們將求助於維基百科……

“人類只有兩隻耳朵，但可以在三個維度上定位聲音——範圍（距離）、上下方向（仰角）、前後以及兩側（方位角）。這是可能的，因為大腦、內耳和外耳（耳廓）協同工作以推斷位置。這種定位聲源的能力可能是人類和祖先作為進化的必要條件而發展起來的，因為眼睛只能看到觀察者周圍世界的一小部分，並且視力在黑暗中受到阻礙，而定位聲源的能力在所有人身上都有效方向，以不同的精度，無論周圍的光線如何。

人類通過獲取來自一隻耳朵的線索（單耳線索）和通過比較雙耳接收到的線索（差異線索或雙耳線索）來估計聲源的位置。差異線索包括到達時間差異和強度差異。單耳提示來自聲源和人體解剖學之間的相互作用，其中原始聲源在進入耳道以供聽覺系統處理之前被修改。”

什麼是 HRTF？

我們的耳朵對我們來說是獨一無二的。外耳（即耳廓）的精確形狀對我們來說是獨一無二的，我們的頭部和軀幹的形狀也是如此，所有這些都為我們的耳朵接收到的聲音著色，並且我們的聽覺系統會根據我們的特定生理機能進行非常精細的調整。此信息稱為頭部相關傳輸函數，可以實時捕獲並用於處理音頻，就像卷積混響使用脈衝響應一樣。所有這些特徵都會影響聽眾如何（或是否）準確判斷聲音來自哪個方向。

為什麼我們需要 HRTF？

雙耳音頻(Binaural audio)曾經是一個小眾領域，但最近，由於雙耳在遊戲和 AR 應用程序中的使用，雙耳已經引起了全新類型用戶的注意。然後是杜比全景聲。雖然“適當的”Atmos 涉及在 7.1.4 及更高的揚聲器陣列上收聽，並且那裡的大部分電影和電視 Atmos 內容將使用一些非常聰明的條形音箱來播放，但幾乎所有的杜比全景聲音樂內容都可以通過耳機聽到，因為雙耳渲染版本。這種雙耳渲染是在過去幾年中發展起來的，區分杜比全景聲 (Dolby Atmos) 和 Apple 的空間音頻很重要。兩者並不相同，Spatial Audio 和雙耳存在一些特定於 Spatial 而不是 Atmos 的問題。

為什麼我們需要個人化的 HRTF？

如果我們回到 Julian 的學生身上，我們可以看到一個通用的 HRTF 不會讓每個人都滿意，沒有一個放之四海而皆準的解決方案。如果最終用戶能夠使用耳機享受身臨其境的音頻體驗，則需要個性化 HRTF。

我們什麼時候應該在音頻製作中使用通用 HRTF 或個性化 HRTF？

毫無疑問，為了獲得最佳的沉浸式音頻體驗，最終用戶應該使用個性化的 HRTF，考慮到他們獨特的身體和耳朵形狀，以及這如何影響他們感知和定位來自不同位置的聲音的方式。也就是說，獲得 PHRTF 並不便宜，因此即使對於最終用戶而言，通用 HRTF 也將在相當長的一段時間內成為家常便飯。

但是對於音頻製作工作流程，我們什麼時候應該使用個人化的 HRTF，什麼時候應該使用通用的？為了獲得更廣泛的視角，我們詢問了許多用戶以及 Perfect Surround Inc 的首席執行官 Jeffrey Read，該公司是 Penteo 上混和下混插件背後的品牌。

Jeffrey，在我們深入了解使用 HRTF 的細節之前，您能否簡要概述一下 Penteo 的使用方式，因為在我看來 Penteo 不僅僅是一個上混和下混插件，它已經成為許多人考慮成為通用格式翻譯器？

"簡短一點，所以這裡有 6 種常用 Penteo 的方式…… 
1.多軌不可用時上混，即立體聲 > 5.1 或 7.1.2。 
2.強制格式轉換 – 即 7.1 環繞聲 > 7.1.2 全景聲。 
3.重複使用現有的 stems——即 5.1 Surround > Any Atmos。 
4.構建聲場，釋放更多混音創意時間，讓聲音設計師獲得更身臨其境的效果。 
5.重新製作/恢復為不同的格式 
6.通過耳機創作、混合和監聽沉浸式格式

需要注意的是，Penteo 增強了現有的沉浸式編碼器、解碼器和平移器，但並不與之競爭。是的，我們都可以輸出雙耳，但兩者都有不同功能的位置"

我很好奇為什麼在使用杜比全景聲（Dolby Atmos）時，像Penteo這樣的工具會用於輸出雙耳渲染，而不是使用杜比的渲染器。所以我問了傑弗裡，為什麼混音師需要一個不使用杜比渲染器的雙耳輸出呢？

"與（例如）杜比全景聲渲染器相比，上混器的雙耳輸出更有利的原因有 4 個……

1.預渲染預覽：在建立杜比全景聲（Dolby Atmos）舞台（較低的環狀區域）時，可以通過以雙耳方式預覽混音，確保在將所有內容載入渲染器之前獲得高質量的反饋。

2.遊戲開發：將雙耳音效物件載入渲染器而不是從渲染器進行雙耳渲染，可能會帶來一些好處。

3.遠程監聽：自從疫情爆發以來，導演、製片人和其他利益相關者無法坐在錄音室內。Penteo的雙耳輸出使利益相關者可以通過耳機在任何地方進行全面的預覽體驗。只要他們有耳機，就可以享受身臨其境的體驗。

4.直接以雙耳方式進行作曲：作曲家在沒有全面的沉浸式錄音室設置的情況下，通常需要在不同環境中進行作曲和混音。Penteo允許從任何沉浸式格式的任何位置以雙耳方式創作任何格式的音樂，而無需專業的監聽設備。"

Jeffrey，你在其中一些例子中提到了 Penteo，在你看來，為什麼人們應該考慮在他們的雙耳工作流程中使用 Penteo，使用你的通用 HRTF？

“Penteo 是唯一包含雙耳輸出的上混器，Penteo 也是唯一允許從 Penteo 支持的 31 種不同輸出格式中的任何一種輸出雙耳的上混器（所有環繞聲、所有 Atmos、Auro3D、DTSX 和 Ambisonics 格式，最多 16 種）渠道）。”

3 位用戶分享他們對雙耳和 HRTF 的體驗

這是一個插件廠商的看法，但我們想聽一些用戶在製作過程中為什麼使用通用和個性化的 HRTF，所以我們請了 3 位用戶分享他們的想法和經驗......

安德魯·哈拉斯 (Andrew Halasz) 是賓夕法尼亞州匹茲堡波因特公園大學電影藝術系的教授。他協調程序中的聲音設計濃度。在從事教學工作之前，他曾擔任音樂錄音工程師和後期製作音響師長達十年左右的專業工作。在過去的五年裡，他一直在虛擬現實領域從事創造性工作，製作了一部關於音樂和大屠殺的 VR 紀錄片，名為“巴比倫之水”。這最初是為 VR 耳機格式化的，最近被重新格式化為天文館圓頂展覽。

他在 VR 方面的工作使他接觸到 Ambisonic 錄音和製作，從而開始深入研究沉浸式聲音。隨著 Atmos 的發展和普及，他也開始以這種形式工作——既有創意、專業發展，也有教學課程創建。在這些情況下，雙耳監控變得必不可少，因為 VR 本質上是基於耳機的、頭部跟踪的、非靜態雙耳聆聽，而且因為他的大學尚未升級到 Atmos 設置，所有 Atmos 工作實際上都是通過雙耳監控的渲染。

Jesper Eriksson自上世紀80年代末開始從事音頻業務，最初在北歐從事類比領域的工作，學習這一行業的技巧和工具。在90年代初，他有幸轉向基於文件的數位工作流程，使用Digidesign的Pro Tools。隨後，他參與了每一個版本的發展，如今他正在使用具備完整杜比全景聲能力的Pro Tools Ultimate 2022.6進行工作。

多年來，他參與了各種層次的音頻製作，包括企業、廣播、電影、電視和音樂錄製與混音，遊戲聲音中的配音和音效創作，DVD和藍光聲音重新製作、修復和編碼，涵蓋了杜比、DTS和各種音頻平台。

如今，他的大部分時間都用於為電視、電影和音樂進行音效設計和混音，以及在廣泛的音頻業務中提供咨詢工作。

Paul Hill首先是一名電影製片人和編輯師，因為需要扮演多重角色，Paul的第二個角色是音效混音師。他在俄亥俄州立大學韋克斯納藝術中心工作。該中心設有藝術家駐地計劃，接待電影製片人和錄像藝術家，協助他們進行後期製作，主要是編輯，有時也包括最終製作。這些項目涵蓋了從紀錄片到畫廊裝置再到敘事特寫和短片的各種類型。

現在您對這三位用戶有了更多了解，下面是問題和他們的回答...

你怎麼在工作流程中應用雙耳渲染呢?

AH: 我的工作流程中廣泛使用雙耳監聽。

虛擬現實音效 - 與虛擬現實相關的音效自然是以雙耳渲染為基礎的。這使我接觸到許多虛擬現實音效軟件解決方案，它們都採用了雙耳渲染。當然，最終的作品將以頭部追蹤的雙耳混音方式讓使用者體驗。

野外錄音 - 我經常使用Coresound 2nd Order Ambisonic OctoMic進行大量野外音效錄製。在編輯/後期製作這些錄音時，需要通過雙耳解碼器進行監聽編碼錄音。我通常將這些解碼為其他環繞聲或沉浸式格式（例如5.0、7.0、Atmos），用於常規電影音效設計/混音。在將Ambisonic錄音解碼為環繞聲/沉浸式格式之後，我將監聽該特定揚聲器配置的雙耳虛擬化效果。目前，我只能使用大學的5.1混音室進行監聽（希望很快能升級到7.1，甚至希望能使用Atmos），因此雙耳預覽至關重要。

教授沉浸式音效 - 雙耳監聽對於教授沉浸式音效非常寶貴。因為我們的課堂/實驗室沒有環繞聲監聽系統，當教授沉浸式音效原則時，我可以使用工具（如Penteo16 16 Pro+）將我進行的空間聲音定位或環繞聲/Atmos片段進行雙耳渲染。然後，我通過基於瀏覽器的流媒體解決方案（如Audiomovers Listento或Source Connect）將這些音頻傳送到學生的電腦上。學生可以通過耳機聽到元素的空間定位和聲音定位。這比單純解釋沉浸式音效的效果要有效得多。此外，直到我的大學配備了Atmos監聽系統之前，所有杜比全景聲的學習和實踐都是通過使用杜比的雙耳渲染器進行虛擬監聽。此外，學生可以在雙耳耳機監聽和實際重新渲染到教室的5.1揚聲器之間切換。

JE: 我使用雙耳監聽來進行監聽和檢查混音，因此擁有個性化版本可以在揚聲器監聽和耳機監聽之間進行雙重檢查。考慮到這麼多的二進制格式版本，我認為個性化的HRTF在未來是有用的。

除了監聽之外，我還使用Sennheiser AMBEO麥克風來錄製音效和背景聲音。我選擇保留原始格式的錄音，這樣我就可以在不同格式之間切換。這樣可以節省空間，並通過能夠從四聲道到任何更高的格式，甚至到Dolby Atmos的轉換，使我的工作流程更加順暢。

你們開始使用個人化的HRTF了嗎?

AH: 到目前為止，我使用個人化HRTF的經驗僅限於使用杜比的測試應用程式為杜比全景聲製作套件創建個性化HRTF。我正在研究是否可以在即將到來的學年獲得一些研究資金，為支持SOFA導入的一些雙耳渲染器創建我的個人HRTF的SOFA（用於聲學的空間導向格式）文件。

JE: 我參與了杜比PHRTF Creator iOS應用程式的測試工作，發現它運行非常順暢。

PH: 我尚未開始使用個性化HRTF，但希望在不久的將來能夠使用。儘管如此，我認為並不是每個應用都需要個性化HRTF。我認為雙耳和3D音頻真的很棒，因為我們只需要戴上耳機，而這是我們都擁有的。相比之下，3D圖像需要我們戴上特殊的眼鏡，而不是每個人都有這種眼鏡，這使得它在一般情況下更像是一種花招，更難推廣。現在我們可以通過流媒體音樂平台輕鬆地以雙耳和空間音頻的方式聆聽我們喜愛的音樂。我還探索了一些以雙耳方式錄製的播客，但在我目前的經驗中，它們並不是很好。

如果您已開始使用，您在什麼情況下使用個人化 HRTF，何時使用通用 HRTF？

AH: 目前，我只在杜比全景聲製作套件中使用個性化HRTF，但有趣的是，我還沒有察覺到個人化HRTF和杜比提供的通用HRTF之間有顯著差異。關於個人化與通用HRTF，我想是朱利安在一個播客中分享的恰當比喻......「個人化HRTF就像在校準的房間中進行混音，而通用HRTF則不一定經過校準的房間/揚聲器。」因此，就像常規揚聲器混音一樣，我會在密集混音的過程中使用個人化HRTF，以在更「校準」的監聽環境中進行工作。但就像有人拿著卡式帶跑出去在車上預覽錄音室混音一樣，通用HRTF是一個很好的參考，讓你可以通過大多數公眾可能使用的HRTF來聆聽。

當然，每個人的解剖結構都不同。使用通用HRTF的聆聽體驗對於每個人來說仍然是不同的，但它正在越來越接近。技術可能最終會帶來一種即時測量並創建個性化HRTF的耳機，但我們還沒有達到那個程度。

JE: 我的個人化HRTF存儲在我的杜比RMU中，因此我可以在個人化和杜比的通用HRTF之間切換。

PH: 對於雙耳聲音和Ambisonics，我還比較新。目前，我可能更多地在個人層面上使用雙耳聲音。我第一次接觸它是當我買了一對Sennheiser Ambeo雙耳頭戴式耳機/麥克風，當時價格從300美元降至60美元，並且可以插入iPhone使用。我對其音質感到驚訝，發現自己用這些耳機錄製了一切。從那時起，我了解到可以製作雙耳音頻文件。

使用通用 HRTF 時，您使用哪些工具將音頻轉換為雙耳？

AH：通常我使用 Penteo 16 Pro+ 來監控我正在處理的任何沉浸式材料。在我的 VR 工作中，我使用了許多解決方案來最終提供雙耳渲染，包括 Audio Ease、Blue Ripple 和 Noise Makers。當我在 Reaper 工作時，有更多的工具，如 SPARTA、COMPASS、IEM（大多數免費，因為它們是學術研究的結果）提供雙耳渲染，但只能作為 VST 插件使用。

最終，我被 Penteo 16 Pro+ 所吸引，因為它有點像一把身臨其境的瑞士軍刀。它允許從 Ambisonics 解碼為雙耳或任何我可能想要導出的沉浸式格式。例如，當從 Ambisonics 解碼到 Atmos 時，我將連接到 Penteo 16 Pro+ 的另一個實例以雙耳監聽 Atmos 解碼。 Penteo 還允許從 2 階 Ambisonics 解碼為 7.1.4 或 7.1.6，這非常適合環境聲。在這種情況下，高度通道將作為對象存在，而不是在 7.1.2 音床。

Penteo 有 AAX 很棒，因為它讓我可以在 Pro Tools 中使用。因為我使用的大多數沉浸式工具都是 VST，所以它們要求我在可以託管 VST（例如 Reaper）的 DAW 中工作。

JE: 我在杜比渲染器中使用我的個性化HRTF！至於插件，我最常用的是Penteo 16 Pro+，它具有自己特定的通用HRTF，並且它已經在我的模板中。我發現它非常容易使用，在各種格式中都能發揮出色的效果，無論是內部還是外部。

PH: 最近，我為一個7聲道多聲道音頻作品進行了聲音混音，該作品與一個3聲道的視頻裝置同步。然而，藝術家無法參與混音，所以我需要一種方式讓他能夠像站在畫廊空間中被7個揚聲器包圍一樣聽到混音，而雙耳效果是模擬這一點最好的方式。我一直在使用DearVR Pro來創建3D音景，然後使用通用HRTF進行雙耳輸出。

關於 HRTF 的使用或雙耳工作，您還有什麼要補充的嗎？

AH: 能夠近似虛擬化聆聽環境/揚聲器配置真的很棒。

有一些關於在疫情期間進行混音的故事 - 創意團隊成員和製片人能夠通過聆聽混音的雙耳渲染來預覽工作。我相信有一家工作室為雙耳混音預覽創建了一個錄音室的BRIR。在這段時間裡，我主要通過雙耳渲染進行了一部5.1電影的混音，只在最後一次混音時在一個5.1的混音室進行了最終處理。

由於我家沒有空間擁有家庭影院，我通常使用蘋果的Airpods Max來享受接近空間混音的近似效果，這也是我觀看更多電影和流媒體娛樂的方式。

我認為技術將不斷推動雙耳聆聽的可能性進一步發展 - 最終允許我們使用的設備生成個人化HRTF，使聆聽體驗更加貼近創作者的意圖。

JE: 通過將所有的音效錄製保存在原生的Ambeo 4聲道格式中，我可以使用Penteo 16 Pro+插件將其轉換為任何更高的格式，詳見下文...

生產工作流程需要通用 HRTF

從製造商和多位用戶的回答中可以明確得出，如果我在音頻製作過程中使用個性化HRTF，例如輸出沉浸式音頻混音的聆聽副本，那麼我將把自己的身體和耳朵的特性強加給客戶，這可能比使用精心設計的通用HRTF效果更差，而通用HRTF很可能是更好的平均效果，而不是個別人的聽覺機制。

正如Jeffrey Read來自Perfect Surround Inc在本文早些時候提到的，使用上混音器的雙耳輸出比（例如）杜比全景聲渲染器有4個好處...

1.預渲染預覽

2.遊戲開發

3.遠程監聽

4.直接以雙耳方式進行作曲

然而，即使杜比全景聲渲染器現在支持個性化HRTF，我們仍應該仔細考慮何時使用個人化HRTF。作為混音師，如果我們需要在沒有杜比全景聲監聽系統的空間中工作，那麼切換到自己的個性化HRTF應該能夠在耳機上提供更好的沉浸式體驗。但是，如果我們要將渲染器中的聆聽混音交給客戶聆聽，除非我們擁有客戶的個性化HRTF，否則使用杜比的通用HRTF效果會更好。如果我們尚未使用渲染器，那麼像Penteo 16 Pro+這樣的工具非常適合使用他們的通用HRTF輸出雙耳版本。

終端用戶應該受益於個人化 HRTF

毫無疑問，如果每個人都能夠使用個性化的HRTF而不是依賴於通用的一刀切解決方案，那麼最終用戶的沉浸式體驗將會更好。

為此，我們看到了PHRTF解決方案的增長，包括Genelec的Aural ID作為早期採用者，最近杜比也推出了他們的杜比全景聲個性化渲染的測試版本，但這僅支持杜比渲染器軟件。這些選項的價格使其僅適用於富有的愛好者或專業人士。但是，對於真正的最終用戶，是否有一個解決方案呢？

在2022年的WWDC主題演講中，蘋果軟件工程高級副總裁Craig Federighi簡要提到，在iOS 16中，用戶將能夠使用iPhone的TrueDepth相機掃描自己的耳朵，以創建個性化的空間音頻配置文件。雖然在主題演講中並沒有明確提到，但這很可能是以HRTF的形式實現的。

Apple表示，“經過調校的空間音頻功能帶來了更加精確的聆聽體驗”。

個人化空間音頻將可供運行iOS 16的AirPods 3、AirPods Pro和AirPods Max用戶使用。它需要一台配備TrueDepth相機的iPhone來掃描您的面部和每隻耳朵。有趣的是，即使是配備TrueDepth相機的iPad也沒有這個功能。

一旦您在iPhone上完成個性化空間音頻的設置，通過AirPods 3、AirPods Pro和AirPods Max，您擁有的所有其他AirPods都將能夠使用此功能。9to5 Mac已經使用iOS 16的開發者版本進行了測試，以下是他們的結果...

“擁有這個新功能後，很明顯地，擁有您面部的3D映射有助於Dolby Atmos的空間音頻技術。雖然我已經享受到了這個功能，但有些歌曲和專輯聽起來有點回聲，好像主唱的聲音比樂隊其他成員的聲音低。現在，通過個性化空間音頻，一切終於聽起來恰到好處了。對於擁有原始HomePod的用戶來說，聆聽體驗聽起來相似，好像歌曲終於發揮了其全部能力。

而AirPods Max是唯一沒有困擾於「回聲」歌曲的AirPods，另一方面，AirPods 3和AirPods Pro的用戶將在個性化空間音頻中獲益最多。”

如果您有興趣試用這個功能，個性化空間音頻將在蘋果的iOS 16公測版中提供，現已可用，而全體用戶版本預計將在今年秋季蘋果發布iOS 16時推出。

但必須說明的是，蘋果對個人化HRTF的實現在某種程度上被其使用的空間音頻版本所混淆，但只有時間才能告訴我們，它是否對最終用戶更好，還是解決了一些問題卻帶來了更多問題。

結論

正是如此。HRTF將會一直存在。我們需要它們來渲染像杜比全景聲這樣的沉浸式音頻的雙耳版本。通用和個性化HRTF都有其應用場景。我們在製作過程中需要通用HRTF，同時也需要為客戶提供聆聽混音。也許在未來，我們將能夠為客戶保留個人化的PHRTF，以便為他們渲染出個性化的雙耳混音版本，但就目前而言，我們仍需要使用內置於我們使用的工具中的通用HRTF，例如Penteo 16 Pro+和杜比全景聲製作套件。

對於最終用戶來說，PHRTF將是最佳選擇，但在普遍可用之前，通用HRTF仍然是當下的首選。

作者 : Mike Thornton

Mike Thornton在廣播音頻行業工作了整整45年，一直以來都與Pro Tools合作。自上世紀90年代中期以來，Mike一直在錄製、編輯和混音紀錄片、喜劇和戲劇節目，涉及無線電和電視，偶爾也會參與音樂項目。他是Pro Tools Expert的共同創始人，現已退休，擔任Production Expert Ltd的主席一職。