系統(tǒng)構(gòu)成

“多模態(tài)人因感知手環(huán)"通常涉及到四個(gè)模塊： “多模態(tài)人因感知終端",、 “邊緣計(jì)算終端",、 “實(shí)驗(yàn)操作端"以及“科研云平臺"。

根據(jù)不同需求配備不同的模塊,。

-“多模態(tài)人因感知終端"（情緒手環(huán)）

多模態(tài)人因感知手環(huán)支持脈搏,、皮膚電阻、皮膚溫度,、運(yùn)動加速度,、角速度等生理和行為數(shù)據(jù)，以及環(huán)境數(shù)據(jù)的采集,，并將數(shù)據(jù)傳輸?shù)健斑吘売?jì)算終端"

脈搏傳感器：采樣頻率 100Hz

皮電傳感器：采樣頻率 4Hz,，交流激勵源頻率 24Hz

皮溫傳感器：采樣頻率 1Hz，測量范圍 0~50°C,，測量精度 ±1°C

運(yùn)動傳感器三：軸加速度和三軸角速度,，采樣頻率 20Hz

環(huán)境傳感器：溫度,、濕度、氣壓三種傳感器,，采樣頻率 1Hz

-“邊緣計(jì)算終端"

“邊緣計(jì)算終端"實(shí)時(shí)接收“多模態(tài)人因感知終端"的原始數(shù)據(jù),，實(shí)時(shí)對數(shù)據(jù)進(jìn)行預(yù)處理與特征計(jì)算，并將原始數(shù)據(jù)與計(jì)算后的特征數(shù)據(jù)傳輸至“科研云平臺"

設(shè)備綁定：對邊緣計(jì)算終端與多模態(tài)人因感知終端進(jìn)行綁定

設(shè)備狀態(tài)：記錄人因感知終端的連接狀態(tài),、采集時(shí)長,、藍(lán)牙信號強(qiáng)度

數(shù)據(jù)監(jiān)控：針對脈搏、皮膚電阻,、運(yùn)動加速度,、皮溫等數(shù)據(jù)的實(shí)時(shí)監(jiān)控

數(shù)據(jù)分析：可實(shí)時(shí)對多種生理和行為數(shù)據(jù)進(jìn)行預(yù)處理與特征計(jì)算

-“實(shí)驗(yàn)操作端"

“實(shí)驗(yàn)操作端"實(shí)時(shí)監(jiān)控“邊緣計(jì)算終端"的設(shè)備電量與網(wǎng)絡(luò)連接狀態(tài)，支持實(shí)驗(yàn)過程中關(guān)鍵事件的同步標(biāo)記,，并將標(biāo)記數(shù)據(jù)傳輸至“科研云平臺"

實(shí)驗(yàn)控制：支持采集設(shè)備的結(jié)束控制

設(shè)備監(jiān)控：實(shí)時(shí)查看設(shè)備電量,、采集狀態(tài)、采集時(shí)長的監(jiān)控

場景維護(hù)：支持實(shí)驗(yàn)場景的維護(hù),，可修改實(shí)驗(yàn)名稱及事件標(biāo)記名稱

主動事件標(biāo)記：實(shí)驗(yàn)過程中支持對設(shè)備進(jìn)行主動標(biāo)記,，以及標(biāo)記點(diǎn)的查看與編輯

自動事件標(biāo)記：提供 Python 、Matlab,、Eprime 程序的API 接口

-“科研云平臺"

科研人員登錄“科研云平臺"下載原始數(shù)據(jù),、特征數(shù)據(jù)與事件標(biāo)記，或提交定制化數(shù)據(jù)分析需求,，對原始數(shù)據(jù)進(jìn)行定制化數(shù)據(jù)處理與特征提取分析

用戶驗(yàn)證：不同實(shí)驗(yàn)員擁有獨(dú)立賬戶,，保證數(shù)據(jù)隔離

設(shè)備查看：支持管理員名下設(shè)備的查看

數(shù)據(jù)下載：支持多種生理和行為原始數(shù)據(jù)的批量下載

特征分析：支持不少于80種對情緒狀態(tài)敏感的先驗(yàn)特征的計(jì)算和批量下載

可定制項(xiàng)：支持外接設(shè)備采集的腦電,、眼動軌跡,、外周生理數(shù)據(jù)的批量下載，支持經(jīng)驗(yàn)取樣APP采集的問卷,、錄音,、手機(jī)使用數(shù)據(jù)的批量下載

產(chǎn)品優(yōu)勢

- 結(jié)合超掃描技術(shù)（Hyper-Scanning），支持同時(shí)記錄參與同一認(rèn)知活動的多人外周生理活動,，分析生理活動同步及其與行為指標(biāo)間的關(guān)系及其機(jī)制

- 結(jié)合經(jīng)驗(yàn)取樣法或生態(tài)瞬時(shí)評估法（ESM/EMA），支持開展各類縱向數(shù)據(jù),、移動式數(shù)據(jù)收集和研究,，數(shù)據(jù)采集成本低，評估客觀,、高效,，研究結(jié)果具有更高生態(tài)效度

- 提供豐富的具有先驗(yàn)知識的特征指標(biāo)的計(jì)算,，支持原始數(shù)據(jù)和特征數(shù)據(jù)的下載,，支持原始數(shù)據(jù)和特征數(shù)據(jù)的接口開發(fā)

- 集成一體化設(shè)計(jì)、體積小巧,、方便攜帶，適用于缺網(wǎng),、缺電,、高噪等作業(yè)環(huán)境下使用

應(yīng)用案例

-群體共享情緒識別研究

     本研究采用超掃描技術(shù),，以中科院心理所建立的標(biāo)準(zhǔn)華語情緒電影庫為實(shí)驗(yàn)素材,，誘發(fā)4種特定的情緒狀態(tài)。研究者招募了 144 名大學(xué)生被試,，6 人一組進(jìn)行群體觀影實(shí)驗(yàn),，同時(shí)佩戴手環(huán)記錄 6 人的生理、行為和環(huán)境數(shù)據(jù),。

    研究人員從脈搏和皮膚電阻信號中提取了 80 多個(gè)具有心理學(xué)先驗(yàn)知識的時(shí)頻域特征,，并輸入到支持向量機(jī)、隨機(jī)森林,、深度置信網(wǎng)絡(luò),、長短時(shí)記憶網(wǎng)絡(luò)等模型中進(jìn)行四分類學(xué)習(xí)。

-玩電腦游戲時(shí)的用戶情感體驗(yàn)研究

    本研究以男性大學(xué)生為研究群體,，要求他們在電腦上玩“五子棋"游戲時(shí)全程佩戴手環(huán),，記錄他們的生理數(shù)據(jù),；用戶在游戲過程中的主觀感受（如無聊,、有趣、興奮）在游戲結(jié)束后進(jìn)行反饋,。

    研究結(jié)果發(fā)現(xiàn),，用戶在朋友一起游戲時(shí)的皮膚電導(dǎo)反應(yīng)（SCR）明顯高于與電腦對打時(shí)的皮膚電導(dǎo)反應(yīng),，且自我報(bào)告在朋友對打時(shí)覺得更加有趣和興奮。相關(guān)分析的結(jié)果也發(fā)現(xiàn),，皮膚電導(dǎo)反應(yīng)與自我報(bào)告的有趣程度正相關(guān),，與挫折感負(fù)相關(guān)。

-皮膚電信號預(yù)測合作行為研究

    本研究讓兩個(gè)被試在電腦上完成“囚徒困境"的實(shí)驗(yàn)范式,，同步記錄兩個(gè)人的心率,、皮膚電阻、眼動軌跡,、肌電等生理和行為數(shù)據(jù),。實(shí)驗(yàn)條件分為能看到彼此和看不到彼此兩個(gè)條件,，通過該實(shí)驗(yàn)研究合作過程中的生理變化情況。

    研究發(fā)現(xiàn),，在被試能看到彼此的條件下,，心率和皮膚電導(dǎo)水平（SCL）開始變得同步，且這種正向的同步聯(lián)系會變得更強(qiáng),。SCL能夠預(yù)測兩人的成功合作行為,。

-基于HR和EDA信號預(yù)測學(xué)生學(xué)業(yè)成績研究

   本研究使用可穿戴設(shè)備，記錄學(xué)生在真實(shí)語文和數(shù)學(xué)課堂中的皮膚電阻和心率數(shù)據(jù),，探討這些生理數(shù)據(jù)與學(xué)生學(xué)業(yè)成績的關(guān)系,。

   本研究共招募了 100 名七年級的學(xué)生，連續(xù)記錄了他們在 10 天語文和數(shù)學(xué)課堂中的生理數(shù)據(jù),。

    研究結(jié)果發(fā)現(xiàn),，學(xué)生課堂過程中的皮膚電導(dǎo)水平（SCL）和皮膚電導(dǎo)反應(yīng)（SCR）與其學(xué)業(yè)成績存在顯著的相關(guān)。

-中科院心理所2021年啟動抑郁癥長期追蹤項(xiàng)目“心花計(jì)劃"

    針對抑郁癥的追蹤研究,，項(xiàng)目周期10年,，涵蓋抑郁癥患者和亞臨床抑郁狀態(tài)兩個(gè)群體。

    旨在采用腦影像,、可穿戴設(shè)備等多種研究手段,，建立抑郁癥精準(zhǔn)診斷和分型的客觀標(biāo)記，探索基于中國文化的新型心理干預(yù)技術(shù),，并發(fā)展藥物之外的無創(chuàng)神經(jīng)調(diào)控新療法,。

    采用經(jīng)驗(yàn)采樣法，通過可穿戴手環(huán)記錄脈搏,、皮膚電阻,、皮膚溫度、運(yùn)動加速度,、角速度,、睡眠質(zhì)量等數(shù)據(jù)，以及通過手機(jī)APP采集語音,、自陳問卷,、手機(jī)使用情況等多種數(shù)

-駕駛過程中駕駛員心理壓力識別研究

     本實(shí)驗(yàn)采用了 MIT-BIH 數(shù)據(jù)集。該數(shù)據(jù)集通過可穿戴設(shè)備收集了多個(gè)駕駛員在實(shí)際駕駛過程中的皮膚電阻,、心率等生理數(shù)據(jù),。

    研究人員對皮膚電阻數(shù)據(jù)進(jìn)行了預(yù)處理、特征提取等一系列規(guī)范化處理后,，對結(jié)果進(jìn)行了統(tǒng)計(jì)檢驗(yàn),。研究結(jié)果發(fā)現(xiàn)，駕駛員在駕駛過程中的壓力水平可分成三個(gè)等級，各個(gè)壓力等級之間存在顯著差異,。