近日，由計算機科學教學與研究中心關鍵老師帶領的“智能信号處理組”(Group of Intelligent Signal Processing, GISP)在音頻信号處理領域頂級國際會議ICASSP 2023中再添碩果。與悉尼科技大學、薩裡大學及哈爾濱工業大學合作，關鍵老師為第一作者、伟徳国际官网登录入口為第一單位的兩項異常聲音檢測合作研究成果受到大會專家高度贊譽并予以接收，這也是GISP課題組研究工作連續第四年被ICASSP錄用。此外，GISP與悉尼科技大學、薩裡大學合作發表在信号處理領域權威期刊IEEE Signal Processing Letters上的一項音頻語意概述工作也收到了ICASSP大會的IEEE信号處理學會(SPS)期刊論文演示報告邀請。
國際聲學、語音與信号處理會議(International Conference on Acoustics, Speech and Signal Processing, ICASSP)由IEEE主辦，被業界公認為的信号處理領域頂級會議，在音頻信号處理方向最具盛譽與學術影響力。作為音頻信号處理領域的重要問題，異常聲音檢測(Anomalous Sound Detection, ASD)旨在根據機器設備運行聲音自動判斷機器運行狀态是否異常，以實現機器設備的故障檢測及預測性維護，該研究在工業生産領域具有廣闊應用前景。GISP課題組近年來緻力于在該方向攻堅克難，本次錄用兩篇論文的研究工作更是得到了評審專家“耳目一新(refreshing)”、“優雅(neat)”，以及“實驗紮實(solid experiments)”的高度贊譽和認可。
圖1 基于時間加權頻域音頻表示及GMM估計異常聲音檢測
GISP本次錄用兩篇會議論文針對異常聲音檢測領域存在的檢測穩定性差、個體性能差異、檢測效率低等問題，從聲學特征表示角度出發，給出創新性解決方案。其一為“時間加權頻域音頻表示與GMM估計異常聲音檢測”(Time-weighted Frequency Domain Audio Representation with GMM Estimator for Anomalous Sound Detection)，該工作提出了結合基于時域加權頻率特征表示的高斯混合模型(TWFR-GMM)，以解決現有基于頻率統計的音頻特征表示的高斯混合模型(GMM)對無監督異音檢測任務中不同機器類型的表現參差不齊問題；另一篇論文為“基于機器ID的音頻表示與對比學習預訓練的異常聲音檢測”(Anomalous Sound Detection Using Audio Representation with Machine ID based Contrastive Learning Pretraining)，該工作針對現有方法的音頻特征表示難以有效區分不同設備正常/異常的問題，提出了基于元數據信息的對比學習預訓練策略，并構建了一個用于異音檢測的兩階段方法。此次被大會錄用論文成果曾在聲音識别權威賽事IEEE ASSP聲學場景和事件檢測及分類競賽(DCASE 2022)中獲得了國際第三、國際第六優異成績。
圖2 基于機器ID的音頻表示與對比學習預訓練的異常聲音檢測T-SNE對比示例圖
此外，GISP在音頻語意概述研究方向的一項最新成果“基于局部注意力信息感知輔助解碼的音頻語意概述”(Local Information Assisted Attention-Free Decoder for Audio Captioning)，被本次大會邀請進行IEEE SPS期刊論文現場報告。該工作第一作者為2020級碩士研究生肖飛揚，關鍵老師為通訊作者，論文于2022年7月發表在以創新度高著稱的信号處理領域權威國際期刊IEEE Signal Processing Letters。研究中提出了一種基于局部注意力機制的解碼器(LocalAFT)結構，用于有效捕獲短時音頻事件，提升音頻字幕預測精度，該項成果在DCASE 2022挑戰任務6a取得了國際第六名。同時，肖飛揚同學也是本次所接收的“基于機器ID的音頻表示與對比學習預訓練的異常聲音檢測”工作的第二作者。
圖3 基于局部注意力信息感知輔助解碼的音頻語意概述方法的對比示例圖
智能信号處理組自2020年成立以來，緻力于人工智能技術驅動的信号處理基礎理論及應用研究，堅持“面向學術前沿，以實際應用需求為導向，以高素質人才培養為目标”，與國内外學術界和工業界廣泛合作、成果斐然。研究成果相繼發表于IEEE SPL、IEEE TMM、IEEE GRSL、IEEE IGARSS、IEEE ICASSP、EUSIPCO等信号處理領域權威期刊會議，此次也是課題組研究成果連續四年被ICASSP錄用。
近年來，計算機學院大力倡導學術交流與國際合作，積極推動學科專業交叉融合建設，依托學科優勢，促進以人工智能技術為代表的新技術跨領域融合研究。本次高水平研究成果發表體現了計算機學院在學科交叉融合建設的成效，也反映了學院在人工智能及聲學信号處理領域的研究實力，促進了國際交流合作、擴大了我校的國際影響力。