【專利摘要】本發(fā)明公開一種基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，包括便攜式生理信號采集與分析系統(tǒng)、基于視頻分析的行為識別系統(tǒng)、無線網(wǎng)關(guān)和數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)；本發(fā)明能夠解決認(rèn)知/情緒等腦高級功能的解析與反饋問題，并突破傳統(tǒng)認(rèn)知和情緒分離的腦特異性理論的局限，構(gòu)建基于情緒-認(rèn)知整合框架下的認(rèn)知與情緒感知與計算的多模態(tài)腦機(jī)接口系統(tǒng)，揭示認(rèn)知/情緒層次腦機(jī)融合的計算規(guī)律，實(shí)現(xiàn)腦與機(jī)器之間的高效匹配。
[0001]本發(fā)明涉及腦機(jī)接口領(lǐng)域，具體涉及一種用于認(rèn)知/情緒層次的腦與信息系統(tǒng)交互的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)。
[0002]人腦是世界上最復(fù)雜的、威力最強(qiáng)大的系統(tǒng)，在人腦與機(jī)器之間建立腦機(jī)接口(01-8111-1)，即建立直接的信息通道和全新的交互方式，將涉及眾多領(lǐng)域創(chuàng)新的前沿，對科技、經(jīng)濟(jì)、軍事，甚至社會的發(fā)展影響巨大。
[0003]而腦機(jī)接口技術(shù)因其涉及眾多領(lǐng)域創(chuàng)新的前沿，對科技、經(jīng)濟(jì)、軍事，甚至社會的發(fā)展影響巨大，但截至目前，國內(nèi)外腦機(jī)接口領(lǐng)域主要關(guān)注的是運(yùn)動/感覺層次腦機(jī)接口領(lǐng)域的研究，只涉及到對腦低層次功能的解析和反饋。國內(nèi)外腦機(jī)接口領(lǐng)域主要關(guān)注的是運(yùn)動/感覺層次腦機(jī)接口研究，也取得了一些大的進(jìn)展?，F(xiàn)在不僅發(fā)展了一些由肌電、腦電、視覺、語音控制的信息系統(tǒng)，以修復(fù)一些動作功能(如行走、取物)、以及修復(fù)一些感知功能(如耳蝸、視力恢復(fù))；還為腦或脊髓損傷、中風(fēng)、腦癱等因素導(dǎo)致的外周神經(jīng)或肌肉運(yùn)動功能受損人群開發(fā)了機(jī)能增強(qiáng)技術(shù)和設(shè)備。
[0004]現(xiàn)有技術(shù)中，有大量專利公開了運(yùn)動/感覺層次腦機(jī)接口系統(tǒng)的構(gòu)建方法，例如:《基于多模態(tài)腦機(jī)接口的智能輪椅》(⑶1.5)、《針對下肢的層級式功能性電刺激康復(fù)系統(tǒng)》(⑶0.8)、《一種基于運(yùn)動想象與？300腦電電位的功能鍵選擇方法》(⑶0.8)等。雖然運(yùn)動/感覺層次腦機(jī)接口取得了長足進(jìn)展，但運(yùn)動/感覺層次腦機(jī)接口研究只涉及到對腦低層次功能的解析和反饋。近15年來，在認(rèn)知神經(jīng)科學(xué)、神經(jīng)生化、心理生理計算、信息技術(shù)等相關(guān)學(xué)科的推動下，使得涉及認(rèn)知和情緒等腦高級智能的腦機(jī)接口的研究變得可能。認(rèn)知/情緒層面腦機(jī)接口涉及到對人認(rèn)知、情感和決策行為的感知、解讀、識別和反饋控制，直接涉及更廣闊的國家戰(zhàn)略需求。
[0005]此外，目前國內(nèi)外認(rèn)知與情緒狀態(tài)分析與識別研究主要還是集中在對6種基本情感(高興、悲傷、憤怒、恐懼、驚奇、厭惡)的識別及少量認(rèn)知狀態(tài)的識別，而采用的方法主要是單模態(tài)分析。目前已經(jīng)發(fā)展的單模態(tài)認(rèn)知與情緒評測方法存在一些局限，多模態(tài)信息感知與融合方法已經(jīng)成為國際學(xué)術(shù)界公認(rèn)的方案。但眾多指標(biāo)之間的關(guān)聯(lián)關(guān)系、各模態(tài)之間的關(guān)聯(lián)關(guān)系、各個模態(tài)對辨識目標(biāo)的貢獻(xiàn)率等多模態(tài)分析的關(guān)鍵問題沒有得到很好的解決。
[0006]發(fā)明目的:本發(fā)明的目的在于突破傳統(tǒng)單模態(tài)腦功能感知方法存在的局限，從生理-行為多模態(tài)信息融合視角下實(shí)現(xiàn)對認(rèn)知與情緒狀態(tài)的實(shí)時感知與識別，最終提供一種基于認(rèn)知與情緒狀態(tài)多I吳態(tài)感知的腦機(jī)接口系統(tǒng)。
[0007]技術(shù)方案:本發(fā)明的一種基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，包括便攜式生理信號采集與分析系統(tǒng)、基于視頻分析的行為識別系統(tǒng)、無線網(wǎng)關(guān)和數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)；所述便攜式生理信號采集與分析系統(tǒng)以及基于視頻分析的行為識別系統(tǒng)均通過無線網(wǎng)關(guān)分別與數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)實(shí)現(xiàn)雙向通訊連接；所述數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)通過無線網(wǎng)關(guān)向便攜式生理信號采集與分析系統(tǒng)以及基于視頻分析的行為識別系統(tǒng)同步發(fā)送數(shù)據(jù)采集指令，然后二者分別進(jìn)行數(shù)據(jù)生理信號和行為數(shù)據(jù)的同步采集與實(shí)時分析，所述數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)收到所述分析結(jié)果后，對所獲得的生理數(shù)據(jù)和行為數(shù)據(jù)進(jìn)行融合計算并得到認(rèn)知與情緒狀態(tài)的估計結(jié)果，所述估計結(jié)果將進(jìn)一步反饋給執(zhí)行機(jī)構(gòu)從而實(shí)現(xiàn)腦與機(jī)器的雙向交互接口。
[0008]進(jìn)一步的，所述便攜式生理信號采集與分析系統(tǒng)包括微處理器、用于采集原始腦電信號的雙導(dǎo)腦電采集模塊、用于采集與心率同步的脈沖信號的耳夾式紅外心率采集模塊、無線收發(fā)模塊、SD卡讀寫模塊、電源調(diào)節(jié)與管理模塊、鋰電池和USB充電模塊，所述微處理器對存儲于SD卡讀寫模塊中的原始腦電信號和脈沖信號數(shù)據(jù)進(jìn)行分析處理，并通過無線收發(fā)模塊將分析處理結(jié)果實(shí)時發(fā)送至數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)；所述USB充電模塊對鋰電池充電。
[0009]進(jìn)一步的，所述原始腦電信號中可提取出反映大腦活動節(jié)律的腦電波功率譜，所述腦電波功率譜包括δ波、Θ波、α波、β波和Υ波；所述脈沖信號中可獲得產(chǎn)生心率變異性時域和頻率指標(biāo)。
[0010]進(jìn)一步的，所述雙導(dǎo)腦電采集模塊由干電池供電，在采集腦電信號時，頭皮位置的作用電極放置于雙側(cè)前額葉，參考電極和地電極分別放置于左右耳垂處。
[0011]進(jìn)一步的，所述基于視頻分析的行為識別系統(tǒng)包括嵌入式平臺、攝像機(jī)、無線收發(fā)模塊和SD卡讀寫模塊，所述嵌入式平臺通過攝像機(jī)實(shí)時記錄和分析用戶的行為和面部表情并存儲于SD卡讀寫模塊，同時通過無線收發(fā)模塊實(shí)時將行為和面部表情的數(shù)據(jù)發(fā)送至數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)。
[0012]進(jìn)一步的，所述數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)包括計算機(jī)和執(zhí)行機(jī)構(gòu)，所述計算機(jī)通過無線網(wǎng)關(guān)將采樣指令同步發(fā)送給便攜式生理信號采集與分析系統(tǒng)和基于視頻分析的行為識別系統(tǒng)，實(shí)現(xiàn)生理信號和行為信號同步采集，并同時通過無線網(wǎng)關(guān)接受便攜式生理信號采集與分析系統(tǒng)以及基于視頻分析的行為識別系統(tǒng)的計算結(jié)果，該計算結(jié)果經(jīng)過數(shù)據(jù)融合算法生成控制信號來驅(qū)動執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)腦與機(jī)器的雙向交互接口。
[0013]進(jìn)一步的，所述數(shù)據(jù)融合算法通過分析多模態(tài)指標(biāo)與識別目標(biāo)之間的關(guān)聯(lián)關(guān)系獲得認(rèn)知與情緒狀態(tài)識別的關(guān)鍵生理及行為指標(biāo)。
[0014]進(jìn)一步的，所述執(zhí)行機(jī)構(gòu)為機(jī)械機(jī)構(gòu)(例如假肢和康復(fù)機(jī)械等)和虛擬3D場景中的任意一種。
[0016](I)國內(nèi)外腦機(jī)接口技術(shù)目前主要聚焦于對腦低層次功能的解析和反饋；本發(fā)明從情緒-認(rèn)知整合視角對認(rèn)知與情緒狀態(tài)進(jìn)行多模態(tài)信息感知，建立認(rèn)知與情緒評測的關(guān)鍵生理及行為指標(biāo)，實(shí)現(xiàn)對認(rèn)知、情感和決策行為的感知、解讀與識別，在此基礎(chǔ)上構(gòu)建認(rèn)知/情緒層次腦機(jī)接口系統(tǒng)。
[0017](2)本發(fā)明突破傳統(tǒng)認(rèn)知和情緒分離的腦特異性理論的局限，提出基于情緒-認(rèn)知整合框架下的認(rèn)知與情緒感知與計算新方法，探索認(rèn)知/情緒層次腦機(jī)融合的感知與認(rèn)知的計算規(guī)律，實(shí)現(xiàn)腦與機(jī)器之間的高效匹配。
[0018](3)本發(fā)明建立我國特定人群的核心認(rèn)知與情緒表征集，并建立多模態(tài)指標(biāo)和認(rèn)知與情緒評測目標(biāo)之間的關(guān)聯(lián)關(guān)系，在此基礎(chǔ)上建立認(rèn)知與情緒評測的關(guān)鍵指標(biāo)，并據(jù)此通過機(jī)器學(xué)習(xí)的方法建立認(rèn)知與情緒狀態(tài)估計模型。
[0019](4)本發(fā)明提出了一種新的多元數(shù)據(jù)分析方法，分析獲得多模態(tài)指標(biāo)與識別目標(biāo)之間的關(guān)聯(lián)關(guān)系，在此基礎(chǔ)上建立認(rèn)知與情緒評測的關(guān)鍵生理及行為指標(biāo)。
[0020](5)目前國內(nèi)外認(rèn)知與情緒狀態(tài)分析與識別研究主要集中在對6種基本情感(高興、悲傷、憤怒、恐懼、驚奇、厭惡)的識別及少量認(rèn)知狀態(tài)的識別，本發(fā)明實(shí)現(xiàn)了對復(fù)雜認(rèn)知與情緒狀態(tài)的感知與識別。
[0021](6)本發(fā)明突破傳統(tǒng)單模態(tài)認(rèn)知與情緒狀態(tài)感知技術(shù)存在的局限，采用生理-行為多模態(tài)感知與融合技術(shù)，實(shí)現(xiàn)對認(rèn)知與情緒狀態(tài)的實(shí)時感知與估計。
[0025]圖4為本發(fā)明中的無線為本發(fā)明中的數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)的組成框圖。
[0028]如圖1所示，本發(fā)明的一種基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，包括便攜式生理信號采集與分析系統(tǒng)10、基于視頻分析的行為識別系統(tǒng)20、無線和數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)40 ；所述便攜式生理信號采集與分析系統(tǒng)10以及基于視頻分析的行為識別系統(tǒng)20均通過無線分別與數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)40實(shí)現(xiàn)雙向通訊連接；所述數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)40通過無線向便攜式生理信號采集與分析系統(tǒng)10以及基于視頻分析的行為識別系統(tǒng)20同步發(fā)送數(shù)據(jù)采集指令，然后二者分別進(jìn)行數(shù)據(jù)生理信號和行為數(shù)據(jù)的同步采集與實(shí)時分析，所述數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)40收到所述分析結(jié)果后，對所獲得的生理數(shù)據(jù)和行為數(shù)據(jù)進(jìn)行融合計算并得到認(rèn)知與情緒狀態(tài)的估計結(jié)果，所述估計結(jié)果將進(jìn)一步反饋給執(zhí)行機(jī)構(gòu)從而實(shí)現(xiàn)腦與機(jī)器的雙向交互接0。
[0029]如圖2所示，本實(shí)施例中的便攜式生理信號采集與分析系統(tǒng)10的整體封裝于可頭戴的外殼中，具體包括微處理器、無線卡讀寫模塊、耳夾式紅外心率采集模塊、雙導(dǎo)腦電采集模塊、電源調(diào)節(jié)與管理模塊、鋰電池』38充電模塊等模塊，所述微處理器對存儲于30卡讀寫模塊中的原始腦電信號和脈沖信號數(shù)據(jù)進(jìn)行分析處理，并通過無線收發(fā)模塊將分析處理結(jié)果實(shí)時發(fā)送至數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)40 ；通過與計算機(jī)的…8接口或者與帶舊8接口的八00(:器件相連，舊8充電模塊能夠?qū)崿F(xiàn)對鋰電池的充電功能；由于鋰電池輸出電壓范圍為3.7-4.2^,電源調(diào)節(jié)與管理模塊可以對本系統(tǒng)所有模塊單元提供穩(wěn)定可靠的3.和訊電源；雙導(dǎo)腦電采集模塊包括干電極、三級放大電路、帶通濾波器和入/0轉(zhuǎn)換器等單元組成，兩個干電極布置在雙側(cè)前額葉，而參考電極和地電極分別位布置在雙耳耳垂；由干電極獲得的腦電信號經(jīng)過三級放大電路放大后再經(jīng)過帶通濾波器獲得信噪比較高的信號，該信號再經(jīng)過高精度八/0轉(zhuǎn)換器處理后獲得穩(wěn)定的原始腦電信號；耳夾式紅外心率采集模塊由耳夾式紅外傳感器、放大電路、比較器、濾波器等單元組成，由耳夾式紅外傳感器獲得的信號經(jīng)過放大電路放大后再經(jīng)過比較器和濾波器處理后獲得與心率同步的脈沖信號，該脈沖信號直接與微處理器的1/0 口相連，微處理器將通過現(xiàn)有公知技術(shù)計算產(chǎn)生心率變異性時域和頻率指標(biāo)；大腦活動節(jié)律的8波、0波、0波、波、^波功率譜、以及心率變異性時域和頻率指標(biāo)，將通過無線收發(fā)模塊實(shí)時發(fā)送給無線]從上述原始腦電信號中可提取出反映大腦活動節(jié)律的腦電波功率譜，其中腦電波功率譜包括 8 波(1-3?)、0 波(4-7?)、0 波(8-13?)、波(14-25?)和、波(25?以上)；且從脈沖信號中可獲得產(chǎn)生心率變異性時域和頻率指標(biāo)。
[0031]如圖3所示，在本實(shí)施例中，基于視頻分析的行為識別系統(tǒng)20包括嵌入式平臺、攝像機(jī)、無線卡讀寫模塊、液晶顯示模塊、電源調(diào)節(jié)與管理模塊、鋰電池、^88充電模塊等模塊單元；所述嵌入式平臺通過攝像機(jī)實(shí)時記錄和分析用戶的行為和面部表情并存儲于30卡讀寫模塊，同時通過無線收發(fā)模塊實(shí)時將行為和面部表情的數(shù)據(jù)發(fā)送至數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)40。
[0032]其中，通過與計算機(jī)…8接口或者與帶…8接口的…-0(:器件相連，…8充電模塊實(shí)現(xiàn)對鋰電池的充電功能；由于鋰電池輸出電壓范圍為3.7-4.2、，電源調(diào)節(jié)與管理模塊可以對本系統(tǒng)所有功能單元提供穩(wěn)定可靠的3.和訊電源。
[0033]如圖4所示，在本實(shí)施例中，無線由微處理器、無線接口模塊、電源調(diào)節(jié)與管理模塊等組成；電源調(diào)節(jié)與管理模塊獲得穩(wěn)定的3.舊電源供無線系統(tǒng)使用；微處理器通過串口轉(zhuǎn)口38接口模塊與數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)40的…8接口相連，并采用無線組網(wǎng)技術(shù)與便攜式生理信號采集與分析系統(tǒng)10以及基于視頻分析的行為識別系統(tǒng)20實(shí)現(xiàn)雙向無線所示，在本實(shí)施例中，數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)40包括計算機(jī)、第一口38接口、第二舊8接口、執(zhí)行機(jī)構(gòu)和電源調(diào)節(jié)與管理模塊，所述計算機(jī)通過第一舊8接口與無線相連，然后通過無線將采樣指令同步發(fā)送給便攜式生理信號采集與分析系統(tǒng)10和基于視頻分析的行為識別系統(tǒng)20，實(shí)現(xiàn)生理信號和行為信號同步采集，并同時通過無線接受便攜式生理信號采集與分析系統(tǒng)10以及基于視頻分析的行為識別系統(tǒng)20的計算結(jié)果，該計算結(jié)果經(jīng)過數(shù)據(jù)融合算法通過第二舊8接口生成執(zhí)行機(jī)構(gòu)的控制信號來驅(qū)動執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)腦與機(jī)器的雙向交互接口 ；其中電源調(diào)節(jié)與管理模塊將為計算機(jī)以及執(zhí)行機(jī)構(gòu)提供所需穩(wěn)定電源。
[0035]上述的所述數(shù)據(jù)融合算法通過分析多模態(tài)指標(biāo)與識別目標(biāo)之間的關(guān)聯(lián)關(guān)系獲得認(rèn)知與情緒狀態(tài)識別的關(guān)鍵生理及行為指標(biāo)。
[0036]綜上所述，本發(fā)明能夠?qū)崟r獲取對象的生理-行為多模態(tài)數(shù)據(jù)，借助多元數(shù)據(jù)分析方法分析獲得多I旲態(tài)指標(biāo)與識別目標(biāo)之間的關(guān)聯(lián)關(guān)系，在此基礎(chǔ)上建立認(rèn)知與情緒評測的關(guān)鍵生理及行為指標(biāo)；且本發(fā)明將獲取的認(rèn)知與情緒狀態(tài)的實(shí)時感知與識別結(jié)果進(jìn)行實(shí)時反饋控制，在腦與機(jī)器之間建立直接雙向信息通道和認(rèn)知/情緒層次交互接口。
1.一種基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:包括便攜式生理信號采集與分析系統(tǒng)、基于視頻分析的行為識別系統(tǒng)、無線網(wǎng)關(guān)和數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)； 所述便攜式生理信號采集與分析系統(tǒng)以及基于視頻分析的行為識別系統(tǒng)均通過無線網(wǎng)關(guān)分別與數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)實(shí)現(xiàn)雙向通訊連接； 所述數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)通過無線網(wǎng)關(guān)向便攜式生理信號采集與分析系統(tǒng)以及基于視頻分析的行為識別系統(tǒng)同步發(fā)送數(shù)據(jù)采集指令，然后二者分別進(jìn)行數(shù)據(jù)生理信號和行為數(shù)據(jù)的同步采集與實(shí)時分析； 所述數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)收到所述分析結(jié)果后，對所獲得的生理數(shù)據(jù)和行為數(shù)據(jù)進(jìn)行融合計算并得到認(rèn)知與情緒狀態(tài)的估計結(jié)果，所述估計結(jié)果將進(jìn)一步反饋給執(zhí)行機(jī)構(gòu)從而實(shí)現(xiàn)腦與機(jī)器的雙向交互接口。
2.根據(jù)權(quán)利要求1所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述便攜式生理信號采集與分析系統(tǒng)包括微處理器、用于采集原始腦電信號的雙導(dǎo)腦電采集模塊、用于采集與心率同步的脈沖信號的耳夾式紅外心率采集模塊、無線收發(fā)模塊、SD卡讀寫模塊、電源調(diào)節(jié)與管理模塊、鋰電池和USB充電模塊，所述微處理器對存儲于SD卡讀寫模塊中的原始腦電信號和脈沖信號數(shù)據(jù)進(jìn)行分析處理，并通過無線收發(fā)模塊將分析處理結(jié)果實(shí)時發(fā)送至數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)；所述USB充電模塊對鋰電池充電。
3.根據(jù)權(quán)利要求2所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述原始腦電信號中可提取出反映大腦活動節(jié)律的腦電波功率譜，所述腦電波功率譜包括δ波、Θ波、α波、β波和Υ波；所述脈沖信號中可獲得產(chǎn)生心率變異性時域和頻率指標(biāo)。
4.根據(jù)權(quán)利要求2所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述雙導(dǎo)腦電采集模塊由干電池供電，在采集腦電信號時，頭皮位置的作用電極放置于雙側(cè)前額葉，參考電極和地電極分別放置于左右耳垂處。
5.根據(jù)權(quán)利要求1所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述基于視頻分析的行為識別系統(tǒng)包括嵌入式平臺、攝像機(jī)、無線收發(fā)模塊和SD卡讀寫模塊，所述嵌入式平臺通過攝像機(jī)實(shí)時記錄和分析用戶的行為和面部表情并存儲于SD卡讀寫模塊，同時通過無線收發(fā)模塊實(shí)時將行為和面部表情的數(shù)據(jù)發(fā)送至數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)。
6.根據(jù)權(quán)利要求1所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述數(shù)據(jù)融合與反饋計算機(jī)系統(tǒng)包括計算機(jī)和執(zhí)行機(jī)構(gòu)，所述計算機(jī)通過無線網(wǎng)關(guān)將采樣指令同步發(fā)送給便攜式生理信號采集與分析系統(tǒng)和基于視頻分析的行為識別系統(tǒng)，實(shí)現(xiàn)生理信號和行為信號同步采集，并同時通過無線網(wǎng)關(guān)接受便攜式生理信號采集與分析系統(tǒng)以及基于視頻分析的行為識別系統(tǒng)的計算結(jié)果，該計算結(jié)果經(jīng)過數(shù)據(jù)融合算法生成控制信號來驅(qū)動執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)腦與機(jī)器的雙向交互接口。
7.根據(jù)權(quán)利要求6所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述數(shù)據(jù)融合算法通過分析多模態(tài)指標(biāo)與識別目標(biāo)之間的關(guān)聯(lián)關(guān)系獲得認(rèn)知與情緒狀態(tài)識別的關(guān)鍵生理及行為指標(biāo)。
8.根據(jù)權(quán)利要求6所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述執(zhí)行機(jī)構(gòu)為機(jī)械機(jī)構(gòu)和虛擬3D場景中的任意一種。
如您需求助技術(shù)專家，請點(diǎn)此查看客服電線.植物資源精細(xì)化工與化學(xué) 3.生物質(zhì)精煉 4.天然產(chǎn)物化學(xué)
1.CRISPR-Cas系統(tǒng) 2.基因編輯 3.基因修復(fù) 4.天然產(chǎn)物合成 5.單分子技術(shù)開發(fā)與應(yīng)用
1. 基于糖類的抗腫瘤藥物的合成和活性評價及糖類疫苗的研制 2.功能糖類的化學(xué)酶法合成及構(gòu)效關(guān)系研究 3.多糖及仿生材料功能的開發(fā)及應(yīng)用
1.天然產(chǎn)品的提取分離與活性研究 2.天然產(chǎn)物活性與安全性評價 3.中藥組方配伍機(jī)制研究