本發(fā)明專利技術(shù)涉及一種基于多模態(tài)的情緒識別方法及系統(tǒng)，該系統(tǒng)能夠通過綜合分析多種生物測量數(shù)據(jù)，準(zhǔn)確地識別和分類用戶的情緒狀態(tài)。該系統(tǒng)包括一個傳感器陣列，用于從用戶那里收集包括腦電信號、面部圖像和語音數(shù)據(jù)在內(nèi)的生物測量數(shù)據(jù)。這些數(shù)據(jù)首先被數(shù)據(jù)處理單元接收，并進行預(yù)處理，包括應(yīng)用傅里葉變換生成功率譜密度剖面，使用基于Adaboost的算法從面部圖像中檢測面部特征，以及從語音數(shù)據(jù)中提取梅爾頻率倒譜系數(shù)。接著，通過一個多模態(tài)集成算法，將各種處理后的數(shù)據(jù)特征結(jié)合成一個統(tǒng)一的特征向量。此向量隨后被一個訓(xùn)練過的深度學(xué)習(xí)模型使用，根據(jù)預(yù)定義的情緒類別進行情緒分類，并生成情緒識別結(jié)果，最后通過輸出單元顯示。
1、情緒識別技術(shù)已成為人機交互領(lǐng)域的重要研究方向，特別是在通過生物測量數(shù)據(jù)進行情緒狀態(tài)分析和分類的應(yīng)用越來越受到重視。現(xiàn)有的情緒識別系統(tǒng)通常依賴于單一模態(tài)的數(shù)據(jù)，如腦電信號、面部表情或語音特征，這些系統(tǒng)通過專門設(shè)計的傳感器陣列來收集相應(yīng)的生物測量數(shù)據(jù)。例如，腦電信號通過電極帽采集，面部圖像通過高分辨率攝像頭獲取，而語音數(shù)據(jù)則通過麥克風(fēng)記錄。這些數(shù)據(jù)獨立地處理和分析，旨在從各自的維度解讀用戶的情緒狀態(tài)。
2、然而，依賴單一數(shù)據(jù)源的情緒識別系統(tǒng)往往無法充分利用多種生物測量數(shù)據(jù)之間的互補性，導(dǎo)致情緒識別的準(zhǔn)確性和可靠性受限。此外，單一模態(tài)數(shù)據(jù)處理往往忽視了數(shù)據(jù)之間可能存在的相關(guān)性，這可能導(dǎo)致在復(fù)雜的情感狀態(tài)分析中出現(xiàn)誤判。例如，面部表情可能因文化差異或個人習(xí)慣而變化，而腦電信號和語音數(shù)據(jù)可以提供更深層次的情緒信息，但這些信息在獨立分析時往往未被充分利用。
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述多模態(tài)集成算法包括如下步驟：
3.根據(jù)權(quán)利要求2所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述深度學(xué)習(xí)模型包括特征分解子網(wǎng)絡(luò)、增強特征學(xué)習(xí)子網(wǎng)絡(luò)、情感動態(tài)建模子網(wǎng)絡(luò)以及多模態(tài)情感分類子網(wǎng)絡(luò)；
4.根據(jù)權(quán)利要求3所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述特征分解子網(wǎng)絡(luò)使用奇異值分解來實施主成分分析，以提高所述降維處理的計算效率和精確度。
5.根據(jù)權(quán)利要求3所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述增強特征學(xué)習(xí)子
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述多模態(tài)集成算法包括如下步驟：
3.根據(jù)權(quán)利要求2所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述深度學(xué)習(xí)模型包括特征分解子網(wǎng)絡(luò)、增強特征學(xué)習(xí)子網(wǎng)絡(luò)、情感動態(tài)建模子網(wǎng)絡(luò)以及多模態(tài)情感分類子網(wǎng)絡(luò)；
4.根據(jù)權(quán)利要求3所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述特征分解子網(wǎng)絡(luò)使用奇異值分解來實施主成分分析，以提高所述降維處理的計算效率和精確度。
5.根據(jù)權(quán)利要求3所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述增強特征學(xué)習(xí)子網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)包括深度可分離卷積層，用以減少模型的計算復(fù)雜性并提高特征提取的效率；所述長短時記憶網(wǎng)絡(luò)具備雙向結(jié)構(gòu)，以從時序數(shù)據(jù)的正反兩個方向?qū)W習(xí)情感狀態(tài)的變化。
6.根據(jù)權(quán)利要求3所述的基于多模態(tài)的情緒識別系統(tǒng)，其特征在于，所述情感動態(tài)建模子網(wǎng)絡(luò)的變分自編碼器使用非線性激活函數(shù)，以增強非線性編碼能力，所述非線性激活函數(shù)包括relu和leaky relu；所述門控卷積網(wǎng)絡(luò)采用多尺度卷積核，以不同尺度捕捉情感表征...