VR越沉浸，大脑越“省力”？

研究背景

戴上虚拟现实(virtual reality, VR)头显后，眼前的房间可以瞬间变成一座公园、一间教室，甚至一个工业操作现场。随着虚拟现实技术逐渐进入游戏娱乐、教育培训和康复训练等领域，人们在获得更强临场感的同时，也可能需要处理更多视觉、听觉和空间信息。那么，与普通电脑屏幕相比，沉浸式虚拟现实究竟会让大脑承担更多认知负荷，还是能够通过更加自然、直观的交互方式，让任务完成得更轻松？

这一问题对于虚拟现实应用的设计尤为重要。心理负荷(mental workload，MWL)过高，可能导致反应变慢、错误增加和精神疲劳；但心理负荷过低，也可能使注意力和任务参与度下降。因此，准确评估用户在虚拟环境中的心理负荷，是优化虚拟现实训练方案、人机交互界面及康复系统的重要基础。

为了进一步回答这一问题，研究人员将工作记忆任务设置在虚拟公园场景中，要求参与者在普通桌面显示器和头戴式显示器(head-mounted display，HMD)两种条件下，识别不断出现的红球位置和语音字母。研究同时结合任务表现、主观量表和脑电图(electroencephalography，EEG)指标，比较不同沉浸程度和任务难度对心理负荷的影响。

研究已于International Journal of Human–Computer Interaction期刊发表。

研究方法

研究纳入27名健康成年人，其中男性16名、女性11名，年龄24～41岁，平均年龄31.37±4.32岁。所有参与者均完成桌面显示和HMD两次实验，两次间隔1周，并采用交叉平衡顺序控制先后次序。每次实验先记录3分钟静息态EEG，随后依次完成4个持续4分钟的n-back工作记忆任务：第1级为视觉1-back，第2级为视觉2-back，第3级为视听双任务1-back，第4级为视听双任务2-back。每一级任务结束后填写美国国家航空航天局任务负荷指数(NASA Task Load Index, NASA-TLX)。

HMD条件采用无线头显，单眼分辨率为1440×1600像素，视场角110°，刷新率90 Hz，并集成3D空间音频。参与者以第一人称视角进入虚拟公园。视觉刺激为分布在3×3网格中的红色球体，听觉刺激为预先录制的字母；视觉刺激持续500 ms，相邻刺激间隔2500 ms。系统自动记录错误率(error rate, ER)和反应时(reaction time, RT)。

图1 桌面显示与HMD条件下的实验流程。静息态记录后，参与者依次完成4个难度递增的n-back任务，并在每一级任务后填写NASA-TLX

图2 虚拟环境与任务界面。a)静息态注视界面；b)视觉刺激的9个可能位置；c)单个视觉刺激；d)嵌入虚拟环境的NASA-TLX界面

EEG采用ANT Neuro eego sports 32系统采集，配合waveguard电极帽，电极按照国际10–20系统布置。在线参考位于CPz，采样率500 Hz，全部电极阻抗保持在20 kΩ以下；实际分析30个头皮通道，乳突电极M1和M2不纳入记录。实验室流式数据层(Lab Streaming Layer, LSL)用于自动标记静息态及各任务阶段，实现VR任务与EEG数据同步。

预处理在MATLAB R2021b和EEGLAB中完成：信号经1～45 Hz有限冲激响应(Finite Impulse Response, FIR)带通滤波，随后采用伪迹子空间重建(Artifact Subspace Reconstruction, ASR)、独立成分分析(Independent Component Analysis, ICA)和ICLabel去除异常通道、眼动及心电等伪迹，并进行球面插值和全脑平均重参考。研究以Fz电极4～8 Hz的额中线θ功率除以Pz电极8～13 Hz的顶叶α功率，计算EEG心理负荷指数(mental workload index, MWLI)。统计分析采用重复测量双因素方差分析、经错误发现率校正的Wilcoxon配对检验及Spearman相关分析，显著性水平设为p≤0.05。

研究结果

1. 任务难度提高，行为表现总体下降

随着任务难度提高，两种呈现条件下的行为表现总体下降。统计分析显示，任务等级对视觉和听觉错误率(error rate，ER)及反应时间(reaction time，RT)均具有显著影响(均为p＜0.001)。以视觉任务为例，桌面条件下RT中位数由第1级的0.79 s延长至第4级的1.75 s，HMD条件下由0.81 s延长至1.60 s；第4级视觉ER中位数在两种条件下均达到0.50。需要注意的是，部分相邻任务等级之间的差异未达到统计学显著水平。尽管双因素方差分析显示HMD条件对听觉RT存在显著影响(p=0.038)，但进一步的逐级配对比较未发现桌面与HMD条件在ER或RT方面存在显著差异。

图3 桌面显示与HMD条件下的错误率和反应时

2. 任务难度提高，主观心理负荷随之增加

主观评价与行为结果呈相似趋势。桌面条件下NASA-TLX总分中位数从第1级的33升至第4级的73，HMD条件下从40升至70；除第2级与第3级之间外，多数任务级别差异均达到统计学显著。不同沉浸方式之间的NASA-TLX总分无显著差异；在六个分量表中，仅身体需求在第1级(p=0.002)和第3级(p=0.022)出现条件差异，其余心理需求、时间需求、表现、努力和挫败感均未发现显著差异。

图4桌面显示与HMD条件下的NASA-TLX总分

3. 脑电指标显示，HMD在中高难度任务下降低心理负荷

EEG结果提供了不同于问卷和行为指标的信息。两种条件下，各任务阶段的MWLI均较静息态显著升高，说明n-back任务有效提高了心理负荷；但MWLI并未随任务级别呈稳定的单调上升。沉浸方式对MWLI的总体影响显著(p=0.024)：与桌面显示相比，HMD条件在第2级、第3级和第4级的MWLI均显著降低，校正后的p值分别为0.006、0.030和0.006。桌面条件下各级MWLI中位数为1.80、2.01、1.87和2.16，HMD条件下为1.79、1.67、1.51和1.87；两种条件的静息态基线无显著差异(p=0.455)。

图5 基于EEG计算的心理负荷指数

4. 脑电、行为与主观评价并不同步

相关分析显示，ER与RT在两种条件下均呈中等程度正相关，行为指标与NASA-TLX总分也存在显著联系；NASA-TLX各维度之间的相关系数最高可达0.90。值得注意的是，MWLI与行为表现或主观量表均未出现显著相关，提示EEG指标可能反映了问卷和任务表现未能捕捉的神经生理维度。

结论与讨论

本研究表明，仅依靠行为表现或主观问卷，桌面显示与沉浸式HMD之间似乎没有明显差别；但EEG显示，在中高难度任务中，HMD条件对应更低的额中线θ/顶叶α心理负荷指数。研究者据此提出，沉浸式环境可能通过增强临场感，减少参与者对任务需求的主观聚焦，从而降低部分任务中的认知资源占用。不过，这一机制仍属于基于结果的解释，不能据此推断所有VR任务都会降低心理负荷。

研究进一步说明，多模态评估能够揭示不同测量维度之间的差异，EEG可作为优化VR系统、训练流程和人机界面的客观工具。对于运动康复、认知训练和工业培训等场景，理想的技术媒介应尽量减少额外操作负担，使有限的认知资源更多地用于训练目标本身。

Citation: Mondellini, M., Pirovano, I., Colombo, V., Arlati, S., Sacco, M., Rizzo, G., & Mastropietro, A. (2024). A multimodal approach exploiting EEG to investigate the effects of VR environment on mental workload. International Journal of Human–Computer Interaction.

DOI: 10.1080/10447318.2023.2258017

通讯作者：Giovanna Rizzo，意大利国家研究委员会生物医学技术研究所