伟徳国际官网登录入口軟件中心師生的研究論文《Cross-modal and Cross-medium Adversarial Attack for Audio》日前被計算機多媒體領域頂級國際會議ACM International Conference on Multimedia接受并将在10月30日的會議論壇上進行宣講。論文作者依次為張立國、田梓琳(博士生)、龍雲飛(博士生)、李思照、印桂生。
ACM Multimedia是計算機多媒體領域首屈一指的國際會議，屬于中國計算機學會推薦的A類國際學術會議。會議涵蓋多個新興領域，專注于推進多媒體的研究和應用。2023年第29屆大會将彙聚工業界和學術界的新觀點，介紹包括人工智能、多媒體檢索、視覺和語言、人機交互和多媒體信号處理等多個計算機多媒體領域的最新成果。
對抗攻擊又稱為智能欺騙，是一種針對人工智能技術的反問題研究。今年我院發表成果旨在研究多媒體領域的人工智能對抗攻擊方法，聚焦于人工智能技術的安全問題。論文提出了一個細分研究方向—跨介質、跨模态的音頻對抗攻擊，即如何設計通過擾動同時欺騙音頻識别模型和譜圖識别模型，并保證其在空氣和海水等傳播介質中均有效。在該篇論文中，作者首次提出了跨介質攻擊概念，并對跨模态攻擊進行了定義，即單一來源的信号在經過不同介質和不同模态的傳播和轉換後，能夠持續欺騙人工智能模型，極大提高了對抗攻擊的泛化能力和魯棒性。目前音頻領域對抗攻擊絕大部分都是在聲波上進行，也有少量在譜圖上進行，但并沒有研究人員關注音頻轉化為譜圖後是否依舊能欺騙目标模型。目前深度學習模型越來越複雜，在無法得知内部結構和參數的前提下，攻擊者很難得知模型是以哪種處理模态對音頻信号進行識别的，但目前可查的案例中并沒有研究同時攻擊以音頻為輸入的識别模型和以譜圖為輸入的識别模型。
可解釋的跨模态對抗機理
論文實驗結果表明，作者所設計的對抗擾動可使ResNet20/56等多個高精度識别模型性能嚴重下降，識别率從>90%降到<30%，并在船舶水噪聲、鲸魚歌聲、人類語音、城市噪聲和鋼琴音樂等5個數據集上成功通過測試。
跨介質和跨模态概念為人工智能領域的對抗攻擊提供了全新的思考角度和解決手段，這種新型攻擊方式打破了傳統的多媒體信号處理模式，使得聲學信号攻擊不再局限于單一模态或單一介質，而是能夠跨越不同的模态和介質對人工智能模型進行欺騙。它不僅提高了攻擊的複雜性和難度，也為防禦者帶來了更大的挑戰，對于智能算法的安全測試提出了更高要求。該技術的應用前景除信息安全領域外、在軍事國防技術上也有望為信息戰提供裝備僞裝和隐身的新途徑。據了解，該論文發表作者所屬團隊目前在可見光、紅外、雷達波等信号格式上也在開展相關領域的對抗攻擊技術研究，力争産出更多原創性高水平科技成果。