AI應用|HKGAI 發布AI空間音訊研究論文 StereoGen生成立體聲音效

CN
19 分鐘前

179492070205714.jpg

香港研發中心與杜比實驗室合作

StereoGen 技術突破文字生成立體聲

榮獲 ACM MM 最佳論文獎

香港生成式人工智能研發中心(HKGAI)再創科研里程碑。由 HKGAI 雪巍教授團隊聯同國際音響技術企業杜比實驗室(Dolby Laboratories)共同完成的空間音訊研究論文,該獲獎論文題為《Discrete Coding and Masked Modeling for Text-to-Stereo Audio Generation》,聚焦文字生成立體聲音訊(Text-to-Stereo Audio Generation)技術,目標是讓人工智能能夠根據文字描述,自動生成具備空間方位感及移動軌跡的高品質立體聲效果。

目前市面上不少 AI 聲音生成工具主要輸出單聲道或空間感不足的音訊,難以真實呈現聲音來源的方向及距離。研究團隊指出,人類能夠判斷聲音位置,是因為左右耳接收聲音時存在細微的時間及音量差異,而 StereoGen 正是基於這一原理進行創新突破,讓 AI 具備更接近人類的空間聽覺理解能力。StereoGen 系統由三大核心技術組件組成。

179492070472691.jpg

StereoCodec:負責將雙聲道音訊轉換為高保真離散編碼,保留左右聲道的重要空間資訊

StereoGen:則採用混合 Transformer 架構及掩碼生成建模技術,能夠根據「電單車由右向左高速駛過」等文字指令,生成具真實移動軌跡的立體聲音效

StereoCLAP:則作為評測框架,透過創新的方向性困難負樣本挖掘技術,評估生成聲音與文字描述在語義及空間位置上的匹配程度

研究團隊表示,這項技術突破有望為 AI 影視製作、動畫創作及遊戲開發帶來重大改變。未來創作者只需輸入劇本內容或場景描述,系統便可自動生成符合情境及方位變化的環境音效,大幅降低後期聲音製作成本及技術門檻。

更重要的是,StereoGen 所建立的空間音訊基礎能力,將成為未來多模態世界模型(World Models)的重要組成部分。透過結合聲音、影像及語言理解能力,人工智能未來有望更真實地模擬及理解現實世界環境,推動下一代沉浸式數位內容體驗發展。

成立於 2023 年的 HKGAI,是港府透過 AIR@InnoHK 創新香港研發平台資助成立的人工智能研究機構,由香港科技大學主導,致力發展本地自主研發的生成式人工智能基礎模型及生態系統。今次奪得 ACM MM 最佳論文獎,不僅彰顯香港科研團隊的國際競爭力,也反映本地 AI 基礎科研成果正逐步在全球學術舞台上發揮影響力。以上於國際頂級多媒體學術會議 ACM Multimedia 2026(ACM MM 2026)榮獲最高榮譽「最佳論文獎」(Best Paper Award)。

本文转载自香港经济日报,版权归原作者及原媒体所有。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到[email protected],本平台相关工作人员将会进行核查。

分享至:
APP下載

X

Telegram

Facebook

Reddit

複製鏈接