【第一參賽人/留學人員】XUEJING SUN
【留學國家】美國
【技術領域】新一代信息技術
【參賽屆次】第7屆
【所獲獎項】入圍
【項目簡介】
沉浸式全景聲技術是一種空間音頻技術，目前在國外，基于對象的全景聲技術已經應用于全景聲制作領域。在我國，由于技術和播放平臺受限等原因，全景聲采集和播放一直以來處于探索階段。音頻領域的核心技術長時間以來由外國企業或科研機構掌握。項目研究以基于全景聲場理念的Ambisonics技術，它是一種聲道獨立的球形聲場再現技術，Ambisonics 技術將拾取到的聲源信號通過一系列打包渲染算法轉換成傳輸編碼格式B格式（B-format）。根據階數不同，B-format 有不同的通道數要求。它除了可以還放水平面信息外，還能還放自下而上的高度信息，更真實的營造出四周由遠及近的音效，呈現出動態的聲音效果、沉浸式的聽覺感受。基于聲場理念的 Ambisonics技術，包括采集端Twirling Capture SDK，單通道或多通道語音增強處理，回聲消除，聲源定位，均衡器調整，自動增益控制，波束成形；麥克風陣列設計與定制，包括線性和環形陣列，不規則陣列定制，支持標準First Order Ambisonic(FOA)，higher order ambisonic （Hoa）Omini Binaural，支持單指向和全向ECM以及MEMS麥克風；播放端Twirling Audio SDK，支持立體聲到VR聲場轉換，5.1/7.1環繞聲，最新的Ambisonic, Quad Binaural，分軌音頻對象（Object Audio)，最新的物理和數學混響模型，獨有算法支持反射音、遮擋音，內容自適應算法優化，高質量低功耗。不僅如此，在最近的迭代中，增加了基于麥克風陣列的降噪處理，語音喚醒、回聲消除、聲源定位、聲紋識別、波束成形、定向增強等核心算法，讓音質更純粹干凈，帶來更好的臨場和空間沉浸感。項目廣泛應用于金融銀行、智慧安防、工業檢測、網聯汽車等領域。
【展開】
【收起】