系統(tǒng)構成

“多模態(tài)人因感知手環(huán)”通常涉及到四個模塊： “多模態(tài)人因感知終端”,、 “邊緣計算終端”、 “實驗操作端”以及“科研云平臺”,。

根據不同需求配備不同的模塊,。

-“多模態(tài)人因感知終端”（情緒手環(huán)）

多模態(tài)人因感知手環(huán)支持脈搏、皮膚電阻,、皮膚溫度,、運動加速度、角速度等生理和行為數(shù)據，以及環(huán)境數(shù)據的采集,，并將數(shù)據傳輸?shù)健斑吘売嬎憬K端”

脈搏傳感器：采樣頻率 100Hz

皮電傳感器：采樣頻率 4Hz,，交流激勵源頻率 24Hz

皮溫傳感器：采樣頻率 1Hz，測量范圍 0~50°C,，測量精度 ±1°C

運動傳感器三：軸加速度和三軸角速度，采樣頻率 20Hz

環(huán)境傳感器：溫度,、濕度,、氣壓三種傳感器，采樣頻率 1Hz

-“邊緣計算終端”

“邊緣計算終端”實時接收“多模態(tài)人因感知終端”的原始數(shù)據,，實時對數(shù)據進行預處理與特征計算,，并將原始數(shù)據與計算后的特征數(shù)據傳輸至“科研云平臺”

設備綁定：對邊緣計算終端與多模態(tài)人因感知終端進行綁定

設備狀態(tài)：記錄人因感知終端的連接狀態(tài)、采集時長,、藍牙信號強度

數(shù)據監(jiān)控：針對脈搏,、皮膚電阻、運動加速度,、皮溫等數(shù)據的實時監(jiān)控

數(shù)據分析：可實時對多種生理和行為數(shù)據進行預處理與特征計算

-“實驗操作端”

“實驗操作端”實時監(jiān)控“邊緣計算終端”的設備電量與網絡連接狀態(tài),，支持實驗過程中關鍵事件的同步標記，并將標記數(shù)據傳輸至“科研云平臺”

實驗控制：支持采集設備的結束控制

設備監(jiān)控：實時查看設備電量,、采集狀態(tài),、采集時長的監(jiān)控

場景維護：支持實驗場景的維護，可修改實驗名稱及事件標記名稱

主動事件標記：實驗過程中支持對設備進行主動標記,，以及標記點的查看與編輯

自動事件標記：提供 Python ,、Matlab、Eprime 程序的API 接口

-“科研云平臺”

科研人員登錄“科研云平臺”下載原始數(shù)據,、特征數(shù)據與事件標記,，或提交定制化數(shù)據分析需求，對原始數(shù)據進行定制化數(shù)據處理與特征提取分析

用戶驗證：不同實驗員擁有獨立賬戶,，保證數(shù)據隔離

設備查看：支持管理員名下設備的查看

數(shù)據下載：支持多種生理和行為原始數(shù)據的批量下載

特征分析：支持不少于80種對情緒狀態(tài)敏感的先驗特征的計算和批量下載

可定制項：支持外接設備采集的腦電,、眼動軌跡、外周生理數(shù)據的批量下載,，支持經驗取樣APP采集的問卷,、錄音、手機使用數(shù)據的批量下載

產品優(yōu)勢

- 結合超掃描技術（Hyper-Scanning）,，支持同時記錄參與同一認知活動的多人外周生理活動,，分析生理活動同步及其與行為指標間的關系及其機制

- 結合經驗取樣法或生態(tài)瞬時評估法（ESM/EMA），支持開展各類縱向數(shù)據,、移動式數(shù)據收集和研究,，數(shù)據采集成本低，評估客觀、高效,，研究結果具有更高生態(tài)效度

- 提供豐富的具有先驗知識的特征指標的計算,，支持原始數(shù)據和特征數(shù)據的下載，支持原始數(shù)據和特征數(shù)據的接口開發(fā)

- 集成一體化設計,、體積小巧,、方便攜帶，適用于缺網,、缺電,、高噪等作業(yè)環(huán)境下使用

應用案例

-群體共享情緒識別研究

     本研究采用超掃描技術，以中科院心理所建立的標準華語情緒電影庫為實驗素材,，誘發(fā)4種特定的情緒狀態(tài),。研究者招募了 144 名大學生被試，6 人一組進行群體觀影實驗,，同時佩戴手環(huán)記錄 6 人的生理,、行為和環(huán)境數(shù)據。

    研究人員從脈搏和皮膚電阻信號中提取了 80 多個具有心理學先驗知識的時頻域特征,，并輸入到支持向量機,、隨機森林、深度置信網絡,、長短時記憶網絡等模型中進行四分類學習,。

-玩電腦游戲時的用戶情感體驗研究

    本研究以男性大學生為研究群體，要求他們在電腦上玩“五子棋”游戲時全程佩戴手環(huán),，記錄他們的生理數(shù)據,；用戶在游戲過程中的主觀感受（如無聊、有趣,、興奮）在游戲結束后進行反饋,。

    研究結果發(fā)現(xiàn)，用戶在朋友一起游戲時的皮膚電導反應（SCR）明顯高于與電腦對打時的皮膚電導反應,，且自我報告在朋友對打時覺得更加有趣和興奮,。相關分析的結果也發(fā)現(xiàn)，皮膚電導反應與自我報告的有趣程度正相關,，與挫折感負相關,。

-皮膚電信號預測合作行為研究

    本研究讓兩個被試在電腦上完成“囚徒困境”的實驗范式，同步記錄兩個人的心率,、皮膚電阻,、眼動軌跡、肌電等生理和行為數(shù)據,。實驗條件分為能看到彼此和看不到彼此兩個條件,，通過該實驗研究合作過程中的生理變化情況,。

    研究發(fā)現(xiàn)，在被試能看到彼此的條件下,，心率和皮膚電導水平（SCL）開始變得同步,，且這種正向的同步聯(lián)系會變得更強。SCL能夠預測兩人的成功合作行為,。

-基于HR和EDA信號預測學生學業(yè)成績研究

   本研究使用可穿戴設備,，記錄學生在真實語文和數(shù)學課堂中的皮膚電阻和心率數(shù)據，探討這些生理數(shù)據與學生學業(yè)成績的關系,。

   本研究共招募了 100 名七年級的學生,，連續(xù)記錄了他們在 10 天語文和數(shù)學課堂中的生理數(shù)據。

    研究結果發(fā)現(xiàn),，學生課堂過程中的皮膚電導水平（SCL）和皮膚電導反應（SCR）與其學業(yè)成績存在顯著的相關。

-中科院心理所2021年啟動抑郁癥長期追蹤項目“心花計劃”

    針對抑郁癥的追蹤研究,，項目周期10年,，涵蓋抑郁癥患者和亞臨床抑郁狀態(tài)兩個群體。

    旨在采用腦影像,、可穿戴設備等多種研究手段,，建立抑郁癥精準診斷和分型的客觀標記，探索基于中國文化的新型心理干預技術,，并發(fā)展藥物之外的無創(chuàng)神經調控新療法,。

    采用經驗采樣法，通過可穿戴手環(huán)記錄脈搏,、皮膚電阻,、皮膚溫度、運動加速度,、角速度,、睡眠質量等數(shù)據，以及通過手機APP采集語音,、自陳問卷,、手機使用情況等多種數(shù)

-駕駛過程中駕駛員心理壓力識別研究

     本實驗采用了 MIT-BIH 數(shù)據集。該數(shù)據集通過可穿戴設備收集了多個駕駛員在實際駕駛過程中的皮膚電阻,、心率等生理數(shù)據,。

    研究人員對皮膚電阻數(shù)據進行了預處理、特征提取等一系列規(guī)范化處理后,，對結果進行了統(tǒng)計檢驗,。研究結果發(fā)現(xiàn)，駕駛員在駕駛過程中的壓力水平可分成三個等級,，各個壓力等級之間存在顯著差異,。