本發(fā)明專利技術(shù)屬于虛擬現(xiàn)實(shí)領(lǐng)域，具體公開(kāi)了一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，包括：UGUI圖像界面模塊、人臉檢測(cè)模塊、語(yǔ)音內(nèi)容顯示模塊、情感狀態(tài)顯示模塊和虛擬人物模塊；情感狀態(tài)顯示模塊包括特征提取單元、特征融合單元、特征增強(qiáng)單元和情感預(yù)測(cè)單元，特征提取單元分別提取圖像、語(yǔ)音和文本的單模態(tài)特征；特征融合單元將特征提取單元所提取的三種單模態(tài)特征進(jìn)行多模態(tài)融合，輸出多模態(tài)融合特征；特征增強(qiáng)單元用于增強(qiáng)多模態(tài)融合特征，輸出新的特征表示；情感預(yù)測(cè)單元用于根據(jù)新的特征表示輸出情感識(shí)別結(jié)果。本發(fā)明專利技術(shù)能夠更好地完成情感化交互過(guò)程，增加虛擬環(huán)境交互系統(tǒng)的沉浸性和交互性，提高用戶體驗(yàn)。本發(fā)明專利技術(shù)適用于虛擬環(huán)境交互。
本專利技術(shù)屬于虛擬現(xiàn)實(shí)領(lǐng)域，具體地說(shuō)是一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)。
1、虛擬現(xiàn)實(shí)技術(shù)(virtual reality，vr)作為下一代人機(jī)交互領(lǐng)域的新技術(shù)，是通過(guò)計(jì)算機(jī)生成逼真的三維立體虛擬環(huán)境，讓人在視覺(jué)上產(chǎn)生一種沉浸在虛擬環(huán)境中效果的技術(shù)。隨著虛擬現(xiàn)實(shí)(vr)、增強(qiáng)現(xiàn)實(shí)(ar)等技術(shù)的發(fā)展，人們?cè)诓粩嗵剿鲗ふ倚碌娜藱C(jī)交互技術(shù)和真正的“沉浸感”。為了提升用戶體驗(yàn)，識(shí)別用戶的情感狀態(tài)，使系統(tǒng)能夠根據(jù)用戶情感做出相應(yīng)的反饋?zhàn)兊弥陵P(guān)重要。
2、在情感分析研究領(lǐng)域，情感表達(dá)可以源于文本、視覺(jué)、語(yǔ)音等不同模態(tài)的數(shù)據(jù)。但是，傳統(tǒng)的情感分析方法一般基于單模態(tài)數(shù)據(jù)，識(shí)別效果容易受到模態(tài)噪聲的影響，有一定的局限性。
1、本專利技術(shù)的目的，是要提供一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，從多個(gè)維度獲取情感信息，提高情感識(shí)別的準(zhǔn)確性，提高系統(tǒng)的沉浸性和交互性。
2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，其特征在于，特征提取單元對(duì)文本、圖像和語(yǔ)音進(jìn)行初步特征提取，采用BiGRU神經(jīng)網(wǎng)絡(luò)分別對(duì)文本、圖像和語(yǔ)音進(jìn)行特征提取，依次經(jīng)過(guò)全連接層、tanh激活層后乘以一個(gè)掩碼矩陣，再進(jìn)行選擇性丟棄，得到的結(jié)果分別作為文本特征、語(yǔ)音特征、圖像特征，最后，采用BERT-BiLSTM模型對(duì)文本特征進(jìn)行進(jìn)一步提取，得到文本單模態(tài)特征，采用雙層堆疊的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像特征進(jìn)行進(jìn)一步提取，得到圖像單模態(tài)特征，采用STFT-CNN模型對(duì)語(yǔ)音特征進(jìn)行進(jìn)一步提取，得到語(yǔ)音單
2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，其特征在于，特征提取單元對(duì)文本、圖像和語(yǔ)音進(jìn)行初步特征提取，采用bigru神經(jīng)網(wǎng)絡(luò)分別對(duì)文本、圖像和語(yǔ)音進(jìn)行特征提取，依次經(jīng)過(guò)全連接層、tanh激活層后乘以一個(gè)掩碼矩陣，再進(jìn)行選擇性丟棄，得到的結(jié)果分別作為文本特征、語(yǔ)音特征、圖像特征，最后，采用bert-bilstm模型對(duì)文本特征進(jìn)行進(jìn)一步提取，得到文本單模態(tài)特征，采用雙層堆疊的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像特征進(jìn)行進(jìn)一步提取，得到圖像單模態(tài)特征，采用stft-cnn模型對(duì)語(yǔ)音特征進(jìn)行進(jìn)一步提取，得到語(yǔ)音單模態(tài)特征。
3.根據(jù)權(quán)利要求2所述的一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，其特征在于，bigru是由兩個(gè)方向不同的門控循環(huán)單元層組成的神經(jīng)網(wǎng)絡(luò)，其中一個(gè)從前向后讀取輸入序列，為前向gru層，另一個(gè)從后向前讀取輸入序列，為后向gru層，每個(gè)gru層包含了一個(gè)重置門、一個(gè)更新門和一個(gè)隱藏狀態(tài)，bigru神經(jīng)網(wǎng)絡(luò)將前向和后向的輸出拼接在一起，形成最終的輸出向量表示；bigru神經(jīng)網(wǎng)絡(luò)中的每個(gè)時(shí)間步用如下公式計(jì)算：
4.根據(jù)權(quán)利要求2或3所述的一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，其特征在于，采用bert-bilstm模型對(duì)文本特征進(jìn)行進(jìn)一步提取，具體為：
5.根據(jù)權(quán)利要求2或3所述的一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，其特征在于，采用雙層堆疊的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像特征進(jìn)行進(jìn)一步提取，具體為：
6.根據(jù)權(quán)利要求2或3所述的一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，其特征在于，采用stft-cnn模型對(duì)語(yǔ)音特征進(jìn)行進(jìn)一步提取，具體為：
7.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)情感識(shí)別的虛擬環(huán)境交互系統(tǒng)，其特征在于，特征融合單元中采用注意力機(jī)制進(jìn)行多模態(tài)...