脑电、心电、皮肤电多模态监测：沉浸式自动驾驶场景下乘客认知情绪评估实验方案

随着自动驾驶技术飞速发展，公众接受度已成为其大规模应用的关键瓶颈。传统问卷调查易受主观偏见影响，难以精准捕获个体实时情绪与认知状态。因此，利用生理信号作为客观度量指标日益受到关注。过往研究虽证实了心率、皮肤电活动、脑电及眼动等信号在评估驾驶相关认知状态方面的潜力，但多数工作聚焦于单一信号或静态模拟器环境，缺乏一种在高度沉浸式动态场景中同步采集多模态生理与车辆数据的综合性实验范式。基于此，本研究旨在开发并验证一套完整的实验方案，通过同步记录脑电图(EEG)、心电图(ECG)、皮肤电位反应(SPR)及眼动追踪(ET)四种生理信号，并结合主观问卷，系统评估乘客在自动驾驶与人类驾驶条件下的情绪与认知状态差异。

研究已于期刊Transportation Research Interdisciplinary Perspectives (IF 5.19)发表。

研究方法

研究在米兰理工大学VI-Grade DiM400高保真动态驾驶模拟器上开展。该模拟器能逼真再现车辆动力学特性，提供高度沉浸体验。实验共招募31名年轻志愿者(平均年龄25.1岁)。所有参与者均需以乘客身份，经历人类驾驶和自动驾驶两种主要条件。为探究驾驶风格影响，自动驾驶条件进一步细分为四种基于“驾驶员风险场”模型的拟人化版本(HIGH, MID, LOW, NO_PM)。所有参与者均需经历三个预设高速公路场景(如施工变道、他车突然切入等)，每场景持续120秒，包含前90秒巡航与后30秒突发“事件”。

图1. 实验场景

研究采用主客观结合法。客观数据采集使用ANT-Neuro 64导脑电帽、VI-BioTelemetry系统(ECG/SPR)及Tobii可穿戴眼动仪。主观数据则通过实验前后的“自动驾驶态度”问卷及每次驾驶后的NASA任务负荷指数(NASA-TLX)问卷获取。实验流程遵循严格顺序：基线采集后，参与者随机经历人类与各自动驾驶模型阶段，其间穿插问卷。原始信号经预处理后提取特征指标，如心率时域(均值、RMSSD、SDSD)与频域(LF/HF)指标、脑电功率比(β/α，θ/α)、SPR峰值数及眼动参数。最后，采用重复测量方差分析，以“事件”、“驾驶模型”和“场景”为因素，对各生理指标的基线归一化值进行分析。

图2. ANT-Neuro 64导脑电系统

实验结果

方差分析显示，“事件”是引发生理指标变化的主因。心电图时域指标最为敏感，但变化方向与预期不完全一致：平均心率在巡航期反高于事件期。研究者认为，这源于参与者初次体验模拟器的初始兴奋与适应效应，该效应可能掩盖了事件本身的应激反应，而非表明事件无影响。相反，LF/HF比值、脑电β/α比值及SPR峰值数则显示事件期应激水平更高，与前者冲突，这可能受信号噪声或分析时长限制影响。眼动指标未达显著，或与其小样本量(N=8)有关。“驾驶模型”与“场景”因素无显著主效应，表明本设定场景下乘客在人类与自动驾驶间情绪状态无显著差异。问卷结果支持生理发现：“自动驾驶态度”问卷显示实验后反对者减少、支持者增多；NASA-TLX评分显示所有条件负荷均处“有些高”范围，但自动驾驶的总体评分与“挫败感”显著高于人类驾驶，研究者认为可能与自动驾驶测试总时长更长有关。

图3. 平均心率随时间变化图

结论

本研究成功建立了一套综合性的实验协议。核心结论如下：首先，该设置能有效捕获事件引发的情绪变化，其中ECG时域指标最稳健；其次，在本研究设定的非危急场景中，乘客在自动驾驶与人类驾驶下的情绪唤醒水平无显著差异，均处于放松状态；最后，问卷表明短暂自动驾驶体验可提升公众技术态度。未来研究应着力扩大样本量，探索更先进的EEG噪声抑制方法，并开展真实道路验证，以进一步增强结论的外部效度，为自动驾驶的人因安全评估提供更坚实的科学依据。

Citation: Mengucci, G., Cioffi, A., Galli, M., Melzi, S., Tomasini, G. (2025). Set-up of an experimental protocol to analyse physiological signals during autonomous driving in a dynamic driving simulator. Transportation Research Interdisciplinary Perspectives.
DOI: 10.1016/j.trip.2025.101546

通讯作者：Antonio Cioffi, Politecnico di Milano, Department of Mechanical Engineering.