基于fNIRS构建情绪预测模型

本文展示了功能性近红外光谱成像(fNIRS)技术区分情绪效价、唤醒水平的能力，fNIRS是一项实用的非侵入性技术，能够定位功能性脑区的激活，空间分辨率优于脑电图(EEG)。fNIRS的高空间分辨率使我们能够以与fMRI相当的空间精度来识别情绪的神经相关，而不需要使用狭窄、不符合现实生活情况的fMRI。我们进行了跨被试的机器学习，让模型可以应用于分类新被试的情绪。与相同的基于EEG的实验比较，我们的分类器所获F1分数表明fNIRS在区分高、低效价水平方面特别有效(F1分数为0.739)，此前这很难通过生理传感器来测量。本文发表在International Journal of Human-Computer Studies杂志。(可添加微信号siyingyxf或18983979082获取原文，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布)。

思影曾做过多篇脑电机器学习，深度学习相关文章解读，结合阅读，加深理解，感谢帮转支持（直接点击，即可浏览，加微信号siyingyxf或18983979082获取原文及补充材料）：

基于深度学习的脑电图分析

基于EEG信号与面部表情的连续情绪识别

EEGNet：一个小型的卷积神经网络，用于基于脑电的脑机接口

BRAIN：静息态脑电图揭示了肌萎缩性脊髓侧索硬化症的四种亚型

基于M/EEG的生物标志物预测MCI和阿尔茨海默病

Current Biology：视觉想象和视觉感知共享Alpha频带中的神

利用脑电连通性特征和卷积神经网络的情绪分类

脑电研究：通过神经活动和视觉特征的多模态学习

JAMA Psychiatry：使用机器学习的方法探究焦虑和创伤性障

Nature neuroscience：利用encoder-decoder模型实现皮层活

ANNALS of Neurology：中风恢复过程中脑机接口可促进运动

Nature Biotechnology: EEG特征预测重度抑郁症的抗抑郁药反应

BMC Medicine：自闭症谱系障碍静息态EEG信号的定量递归

SCIENCE ROBOTICS：非侵入式神经成像可增强机器控制

Lancet Neurology：一种供四肢瘫痪患者使用硬膜外无线脑机

Lancet经典：植物人意识状态的床边检测

NATURE子刊：出生第一年的纵向EEG power能识别孤独症谱

EEG机器学习：急性脑损伤临床无反应患者脑

STROKE:用于慢性中风患者运动康复的动力外骨骼的健侧脑-机

PNAS:基于脑电在线神经反馈调节唤醒程度可以改善个体

帕金森病认知图谱的EEG机器学习

BRAIN：机器学习：基于EEG的跨中心、跨方案的意识

脑机接口训练可持久地恢复中风病人的上肢运动功能

1.介绍

情绪对测量新技术的用户体验、设计基于情绪的自适应系统至关重要，准确评估情绪一直是人机交互(HCI)领域的研究目标。情绪相当复杂且难以识别，通过机器识别则更加困难。虽然情绪常通过自我报告研究来测量，但许多HCI研究人员已经意识到了自我报告方法的缺点，例如无法准确评估个体情绪。此外，自我报告设置在任务完成之后，这会中断用户体验，并且无法捕获任务期间情绪不断变化的实时信息。因此，研究人员试图使用各种客观生理技术来测量、预测不断变化的情绪状态，例如功能性磁共振成像(fMRI)、脑电图(EEG)、皮肤电反应(GSR)、心率变异性(HRV)。

客观测量、预测用户情绪的研究取得了很大进展，不过我们还需要进一步的跨学科研究来开发可靠的模型，用以准确预测情绪状态的实时变化。生物技术研究人员正在开发更实用、抗噪、准确的非侵入式传感器，计算机科学家正在开发能通过广泛多模态生理传感器数据实现实时预测的机器学习、数据挖掘模型。

本研究涉及功能性近红外光谱成像技术(fNIRS)，这是一种相对较新的非侵入性大脑测量技术，抗噪、便携，并允许被试自然运动(与fMRI相比)。此外，fNIRS较EEG具有更高的空间分辨率，并且能够在正常工作条件下测量目标脑区的激活情况。本文旨在利用fNIRS的高空间分辨率来开发能高精度预测情绪效价、唤醒水平的机器学习分类器。我们采集了被试观看音乐视频中剪辑片段时的fNIRS信号，以及观看片段后的自我报告的效价、唤醒数据(SAM)，SAM自我报告值在随后的有监督机器学习分类中用作标签。

本研究在HCI领域有两个主要贡献：

1.展示了实用的非侵入性设备fNIRS在效价、唤醒维度分类情绪的能力。fNIRS结果表明，特定的功能性大脑区域在效价、唤醒度变化期间活动，这些区域也是fMRI情绪研究确定的区域。

2.开发了模型来分类、预测跨被试的情绪，该模型可以应用于新被试，而不是针对每个人训练单独模型。分类器获得的F1分数表明，fNIRS在效价区分方面特别有效，这是先前研究证明很难通过生理传感器测量的指标。

本文还包含: 1.相关背景和文献回顾；2.实验设置和流程；3.数据分析、结果与讨论；4.研究的局限性、未来展望。

2.背景与文献回顾

本节包含: 1.fNIRS介绍及与其他流行神经测量技术的比较；

2.情绪的概念、主客观情绪测量方法；

3.使用机器学习预测情绪面临的挑战。

2.1.神经测量技术回顾

大脑活动测量可用于评估情绪的生理相关状态。功能性磁共振成像(fMRI)和正电子发射断层扫描(PET)等技术可研究大脑功能、结构，但它们限制了受试的运动(fMRI测量要求受试完全静止)，使受试暴露于有害物质或噪音中，不适合评估被试在正常工作条件下的神经活动。脑电图(EEG)可以无创测量大脑活动，成本较低、易用、时间分辨率高，在研究中广受欢迎。1990年代，fNIRS被引入，fNIRS将波长范围在690-900 nm内的近红外光射入大脑皮层来测量大脑活动(如图1)，是一种可以增强/克服EEG和其他脑成像技术限制的工具。

图1. 近红外光从光源(二极管)射入皮层，皮层反射出来的光由探测器测量。

近红外光的主要吸收体是组织中的脱氧血红蛋白(Hb)和氧合血红蛋白(HbO)。血流动力学和代谢过程中，近红外光的变化与大脑神经活动相关，因此可通过测量近红外光脉冲进入大脑皮层后的漫反射光来检测代谢变化。fNIRS的应用范围很大，包括测量计算机操作员正常工作条件下的各种认知状态。

2.2.情绪的构成

过去二十年中情绪研究显著增加，许多领域都做出了贡献，包括心理学、神经科学、医学、社会学和计算机科学。大多研究人员同意情绪是存在于较短时期内的情感状态，持续时间从几毫秒到几分钟不等，并且与事件有关。量化情绪的一个常用指标是情绪的效价、唤醒二维空间映射。效价代表情绪体验的整体愉悦程度(高兴-不高兴)，唤醒代表情绪的强度水平(平静-兴奋)，这两个维度使我们能够区分四种基本的情绪类别(如图2)。一些情绪模型包含中性部分，可识别九类情绪。情绪环状模型在研究中广泛使用，经过了充分的审查。其他的情绪概念模型包括Ekman和Fiesen的基于离散集的通用情感模型等。Posner等人进一步回顾了情绪建模的相关文献，通过实证研究案例为情绪二维模型提供了支持。

图2. 情绪环状模型。水平轴为效价水平(高兴/不高兴)，垂直轴为唤醒度。

自我报告法，例如自我评估模型(SAM)、正负性情绪量表(PANAS)常用于测量个人在情绪环内的感知情绪(perceived emotion)。本文使用了SAM，SAM基于图像评估情绪，测量被试在刺激下的情绪反应相关的愉悦、唤醒、支配(pleasure、arousal、dominance)。

2.3.客观情绪测量

客观情绪测量可以克服自我报告法的主观局限性。1965年，Darwin记录了特定离散情绪相关的面部表情变化，Schwartz和同事在此基础上记录了参与愉快和不愉快心理意象的被试的面部肌电图(EMG)。EMG记录面部肌肉活动相关的电信号，广泛用于测量情绪状态。早期研究发现，有意识的情绪体验会引发特定的生理活动。另一种观点认为，不同情绪体验由身心的持续互动产生，近期研究表明，当用户看到带情绪的图片、电脑游戏、电影时，心理状态会引发皮肤电变化。

大量研究观察了情绪、认知、大脑活动之间的密切联系。Cacioppo等人认为情绪有助于构建认知，认知也有助于构建情绪。基于Russell的二维价/唤醒模型，研究人员也开发了不同语义情绪状态的神经网络识别方法。

fMRI凭借其定位激活脑区的能力用于测量情绪的神经相关。Viinikainen等人使用fMRI采集了被试观看国际情感图片系统(IAPS)图像的神经反应，结果表明唤醒和效价维度上积/消极图片诱发的大脑反应有所区别。他们还注意到一个横跨人类大脑前部的大区域，内侧前额叶皮层(mPFC)，在处理情绪时非常重要。另一项fMRI研究中发现不同唤醒度直接影响了辅助运动皮层和几个支持边缘系统的深部脑区，效价的变化也影响了辅助运动皮层、背外侧前额叶皮层(DLPFC)、下顶叶皮层、额极皮层。情绪越不愉快，DLPFC和额极的活动就越强。此外，研究人员指出，辅助运动皮层可能是边缘系统和运动执行系统之间的接口，大脑将情感体验转化为复杂的运动计划，例如激发跳舞欲望的兴奋感会激活运动皮层，即使该动作实际上并未执行。

Warren等人近期的研究发现前运动皮层中与情绪相关的活动。研究记录了被试聆听不同效价、唤醒水平相关声音时的fMRI、EMG反应，结果表明积极的听觉诱发情绪会使大脑自动准备回应情感刺激的面部动作，激活前运动皮层。换句话说，诱发积极情绪的声音会激活运动前皮层，因为大脑正准备产生面部动作，例如微笑。

音乐和情绪状态相关的fMRI研究发现，运动前皮层与音乐情绪体验直接相关。有研究对比了快乐、悲伤音乐片段的大脑激活，发现DLPFC、额叶皮层、颞上回的激活有区别，这些区域也与情绪体验、内省、自我参照评价相关。语言处理的中心区域—布罗卡区也与基于歌词的音乐情感体验有关。 EEG、fNIRS的相关研究，例如León-Carrión等人使用fNIRS测量被试在不同情绪状态期间的DLPFC活动，发现被试主观唤醒的增加与DLPFC激活相关。Rodrigo等人使用fNIRS比较受试对中性、恐惧面孔的情绪反应，发现PFC的某些区域(右内侧)在观看恐惧面孔时活动增加。Balconi等人测量了被试观看IAPS图片时的EEG、心率、fNIRS反应，fNIRS和EEG结果均显示产生负面情绪时(SAM报告)额极区右侧的激活增加。

2.4.认知数据机器学习的挑战

一些研究基于认知数据使用单次试验分类(single trail classification)来预测情绪状态。需要注意的是，对于认知数据(无论来自 EEG、fNIRS、fMRI还是其他测量技术)使用机器学习(ML)技术都要考虑到数据处理的难度，比如降噪去伪迹、特征生成、算法选择、参数调整。尽管ML可能帮助研究人员最大限度发挥神经生理测量技术的作用，但对认知数据使用ML仍存在重大挑战。例如，高维度数据加上小样本量会产生易受过拟合影响的的数据集。较小的被试群为ML算法训练提供的数据较少，因此跨被试模型的开发、模型普遍化尤其困难。

大脑是一个高度个体化的结构，因此大多脑数据相关的机器学习在个体层面训练、测试分类器。随着训练时、模型的改进，分类器性能显著改善，但冗长的训练阶段非常费力。虽然认知数据机器学习非常适合脑机接口等领域的研究(用户可以花费数天甚至数月的时间来训练他/她的系统)，但对于HCI领域的用户来说，长时间的训练并不理想。增加训练数据的一种方法是合并来自多个被试的数据集，使分类器能够基于多人数据训练、测试模型，并在新个体上有效应用。

HCI（人机交互）领域少数研究人员已经探索了认知数据的跨被试ML，但分类准确度往往低于个体训练模型的准确度。其中一个原因是每个人的大脑都有细微差异，且测量数据时传感器放置的位置也有所不同。因此，一个被试的EEG/fNIRS数据的通道可能与另一被试的相同数据的通道完全不同，难以有效进行被试间的比较。

此外，正如Bendall等人所强调的，基于fNIRS的情绪研究有其自身的问题。他们强调了区分情绪活动与前额叶皮层其他认知过程的难度。使用fNIRS进行情绪研究时，良好的实验设计相当重要。一些研究仅使用积极、消极的情绪条件，一些研究包括积极、消极、中性条件，这些也使得实验间的结果比较非常困难。

此外，fNIRS信号可能受到外周反应的影响，例如面部肌肉运动、心血管活动。Doi等人指出，主观情绪反应和神经反应持续时间可能长于刺激时长，因此刺激长度的选择也很重要。他们还提到了皮质激活指标(含氧/脱氧血流量)如何影响情绪分析。分析被试间数据时还需要考虑个体生物学差异，迄今为止，由于可用的fNIRS数据集规模较小(15-60名被试)，个体生物学的影响很难进行研究。

如您对近红外，脑电等脑影像数据处理感兴趣，可浏览思影科技课程及服务，感谢转发支持（可添加微信号siyingyxf或18983979082咨询，另思影提供免费文献下载服务，如需要也可添加此微信号入群）:

北京：

第二十四届近红外脑功能数据处理班（北京，8.23-28）

第五届R语言统计班（北京，9.10-14）

上海：

第十四届眼动数据处理班（上海，8.25-30）

第二十六届脑电数据处理入门班（上海，9.1-5）

重庆：

第四届R语言统计班（重庆，8.19-23）

第四届脑电机器学习数据处理班（Matlab版本，重庆，9.24-29）

南京：

第三十八届脑电数据处理中级班（南京，9.9-14）

数据处理业务介绍：

思影科技EEG/ERP数据处理业务

思影科技近红外脑功能数据处理服务

思影科技脑电机器学习数据处理业务

思影数据处理服务六：脑磁图（MEG）数据处理

思影科技眼动数据处理服务

招聘及产品：

思影科技招聘数据处理工程师 （上海，北京，南京）

BIOSEMI脑电系统介绍

目镜式功能磁共振刺激系统介绍

3.实验

本文的实验目标是使用fNIRS测量被试各种情绪状态的大脑血流动力学反应，研究目的是证明fNIRS数据可用于识别情绪状态。具体来说，本文旨在开发跨被试的分类器，用以准确预测情绪状态。本文将情绪统视为人感知到的情感心理状态(感受情绪)，可以通过自我报告法进行量化，我们使用SAM情绪测量作为情绪测量的基本事实(ground truth)。

来自东北一所大学的20名健康大学生参加了实验(13名男性，7名女性)。被试提供了知情同意书，完成了人口统计数据问卷，其后实验员向他们介绍实验，说明如何填写任务后的报告。

3.1.刺激材料选择

情绪诱发材料如国际情感图片系统(IAPS)和国际数字化声音系统(IADS)被广泛使用。本研究使用生理信号情绪分析(DEAP)数据集中的音乐视频片段，因为先前研究发现视-听刺激比单使用视觉或听觉刺激效果更好。

DEAP数据集中的一部分音乐视频作为本研究诱发被试情绪的刺激。实验人员使用来自last.fm的情绪标签手动预选了120个视频，并确保选择的是适合情感环状模型四象限的视频(环状模型见图2)。然后，实验员对14名被试进行了一项基于网络的主观评估实验，以进一步评估音乐视频的效价、唤醒。由此产生的效价、唤醒值(均值/标准差)用作将音乐视频置于环状模型上的坐标，然后选择40个视频(五个实验条件: 高效价低唤醒HVLA、高效价高唤醒HVHA、低效价高唤醒LVHA、低效价低唤醒LVLA、中效价中唤醒N)。最后，我们选择了其中的十五个视频，每个实验条件3个视频，选择标准是坐标离中心越远越好，这种选择的目的是确保每个被试的大脑状态最大程度地代表效价/唤醒空间中的象限，提高被试的预期情绪反应。

3.2.设备设置

实验在实验室环境中进行，使用Hitachi ETG-4000 fNIRS设备记录信号，采样率10Hz，记录大脑额叶区域52个通道的数据。

被试坐在实验椅上，椅子调整到舒适的高度，fNIRS模版见图3，有17个光源、16个探测器，测量52个位置。ETG-4000上所有光源、检测器间距3厘米，进入成人大脑的平均测量深度为2-3厘米，使用3d数字化仪记录受试头部每个fNIRS通道的位置。

3.3.实验流程

开始记录生理数据后，被试开始观看一系列音乐视频片段，每个视频时长60秒。视频结束后，被试填写了SAM结果，报告感受情绪的效价和唤醒(李克特评分1-5分)。

由于事件触发的血流动力学响应通常显示为信号增加持续10-12秒达到峰值，后返回基线，因此视频间的休息时间选择为15秒，15秒休息后神经活动恢复到基线，被试开始观看下一个视频。图4显示了其中一个音乐视频的屏幕截图和休息界面。

实验为block设计，音乐视频被分成三个block，每个block包含来自DEAP数据集带有五个情感标签的视频(高效价低唤醒HVLA、高效价高唤醒HVHA、低效价高唤醒LVHA、低效价低唤醒LVLA、中效价中唤醒N)。每个block内视频随机呈现给被试(避免被试猜测到接下播放的视频类型，以及连续播放相同情绪诱导视频可能产生的混淆效应)。

图3. 一名被试佩戴fNIRS设备。

图4. 呈现给被试的音乐视频刺激和试验间显示的休息界面。

表1. 实验的block设计，每个block内视频随机(歌手，音乐视频名称，情绪类型)。

4.数据分析与结果

4.1.SAM数据

SAM结果反映了情绪的效价和唤醒。开始分析之前，我们根据DEAP数据集中每个视频的标签观察被试报告的SAM值与预期结果间的一致性。众所周知，个体和文化差异会影响一个人对给定刺激的情绪反应。尽管存在个体差异，但若如果我们综合查看数据，带有高效价标签的视频应获得相应的SAM评价。例如，Louis Armstrong的歌曲“What a Wonderful World”被标记为高效价低唤醒，我们预计大多被试在观看视频时会感受到愉快而宁静的情绪。不过，不喜欢这首歌或者急于完成实验获得酬劳的人可能会以与其他人不同的方式体验这首慢节奏歌曲，这将导致情绪体验略有不同。我们想知道被试的主观反应是否实验给予的标签一致。因此，我们计算了各标签视频获得SAM结果的均值，结果见表2，图5显示了更详细的视图，比较了被试SAM报告与DEAP数据集标签的一致性。

图5. 各标签视频的SAM评分(A=Arousal唤醒，V=Valence效价)。

表2. DEAP标签与SAM结果比较。

结果显示，DEAP标签与被试感知情绪在一定程度上一致。如图5所示，视频所得评分差异较大，被试间存在差异，结果与DEAP标签也有一定区别。

SAM结果不认同HVHA标签—该类视频的被试对唤醒的报告均值是2.95(略低于中性)而非高于3，此外N标签视频引起了低效价低唤醒(LVLA)而非中性响应的均值3。与先前情绪体验个体差异研究一致，这种分歧说明：不同个体对刺激可能有不同的、高度个性化的情绪反应，并且有必要衡量每个被试对刺激的自我报告反应，而不是假设刺激会以同样的方式影响所有个体。

4.2.标签选择

自我报告效价采用五分量表，被试反应就近取整，分为低(李克特分数为 1-2)、高(4-5分)和中性(3分)，自我报告唤醒同上。图6显示了所有被试的效价、唤醒标签分布。

图6. 所有被试的效价、唤醒标签分布，李克特评分为1、2=低，3=中性，4、5=高。

标签用于后续有监督机器学习，从图6可以明显看出，标签之间分布不均，这将导致机器学习的数据集不平衡。这也是被试自我报告数据机器学习的一个常见问题，因为个人可能对各种刺激产生不同的情绪反应。在不平衡情况下，我们通过F1分数代替整体准确性。F1分数由以下等式表示：

F1分数 = 2*(精确度*召回率)/(精确度+召回率)

精确度 = 真阳性/(真阳性+假阳性)

召回率 = 真阳性/(真阳性+假阴性)

我们使用了支持向量机(SVM)，该分类器对高方差、不平衡数据集较为稳健。

4.3.fNIRS数据

由于存在大量运动伪影，且许多通道报告值为4.999(Hitachi-ETG在源检测器通道光过饱和时使用的默认值)，三名被试的数据被删除。机器学习在剩余的17名被试的数据集上进行，首先将数据从10Hz下采样到2Hz，接着使用带通滤波器去除噪声，保留0.5到0.01Hz频率波，然后使用修改后Beer-Lambert定律将光强度数据转换为含氧、脱氧血红蛋白的相对变化，最后使用Z-score将每个通道的数据归一化。

4.4.兴趣区分析与特征提取

52个通道的预处理数据包含随时间测量的氧合、脱氧血红蛋白的变化。将3d 数字化仪数据(在真实空间测量头皮上fNIRS光极的3d坐标)转换为大脑MNI坐标，通道基于Brodmann分区平均为各兴趣区(ROI)。fNIRS通道覆盖的Brodmann区如图7所示。

图7. fNIRS通道覆盖的Brodmann区(BA21与BA22仅部分覆盖)。

10个ROI用于分析，每个ROI都包含氧合、脱氧血红蛋白信息。我们对每个 ROI计算了几个感兴趣特征(氧合与脱氧)，选择这些特征是因为它们已成功用于先前机器学习研究，或被其他研究人员用于最近的fNIRS分类模型。对每个数据的(i)前半部分、(ii)后半部分、(iii)全部60秒分别生成特征：

(1)半峰全宽(full-width-at-half max): 前后两个函数值等于峰值一半的点之间的距离(时间差，峰值取60s数据的峰值)。

(2)斜率: 信号的起始值、结束值间计算斜率。

(3)均值

(4)最大值

(5)最小值

对于上述时间序列数据的前半、后半、全部部分，我们还将数据进一步分成六个相等的时间段，并对每段取平均值：

分段均值1：分段1的信号均值。

分段均值2：分段2的信号均值。

分段均值3：分段3的信号均值。

分段均值4：分段4的信号均值。

分段均值5：分段5的信号均值。

分段均值6：分段6的信号均值。

基于此获得 [10个ROI* 2类数据(氧合、脱氧)* 11个特征(斜率、最小值、最大值等)* 3个时间段(前半部分、后半部分、全长)] =660个特征来描述观看视频时的大脑活动。

4.5.fNIRS特征与SAM标签的相关性

我们想知道哪些脑区与标签的相关性最高，因此我们提取了所有被试每60 秒session的平均含氧、脱氧血红蛋白浓度数据，将其与效价、唤醒标签关联。Pearson相关的结果如表3所示，正相关性表明氧合/脱氧血红蛋白的相对变化与标签之间存在直接关系，负相关表示其与标签呈反比(显著性水平alpha=0.05，用*标记)。

值得注意的是，DLPFC的氧合与脱氧特征与情绪效价高度相关，这与Colibazzi等人的fMRI研究发现一致。此外，大量脱氧特征与SAM标签有显著相关性，尤其是效价标签。

表3. fNIRS特征与SAM效价、唤醒标签之间的Pearson相关，*表示统计显著性。

4.6.机器学习

由于数据集不平衡，我们没有使用标准的留一交叉验证。如表4，我们将被试数据分为四部分，同时确保每位被试的数据永远不会被训练集、测试集拆分。我们进行单折交叉验证，避免一次仅使用单被试数据作为测试集时可能产生的过拟合和偏差。分组通过考虑被试参与研究的顺序来决定。提取单折数据作为测试集后，使用信息增益启发式对生成的训练集进行排序，选择最具预测性的15个特征进行分类。

SVM在这些特征上进行了训练，然后用于测试集。表4显示了每折的平均F1分数。由于自我报告标签和原始DEAP数据集标签之间存在分歧，如图5所示，为了与DEAP实验进行比较，我们也使用DEAP标签进行相同分析，结果如表5所示。

表4. 自我报告标签进行跨被试分类的平均F1分数，用于成对比较高、中、低效价和高、中、低唤醒。

表5. DEAP标签进行跨被试分类的平均F1分数，用于成对比较高、中、低效价和高、中、低唤醒。

研究使用信息增益启发式对生成的训练集进行排序，选择最具预测性的15个特征进行分类。图8左侧显示了每个脑区被信息包含为前15个特征中各脑区数据参与其中的频率(自我报告效价标签)，fNIRS特征共有660个，图8右侧为唤醒标签的情况。

图8. 所有被试各Brodmann区用于效价、唤醒分类的频率计数。

除了显示相关情绪的激活脑区之外，我们还想更好地了解最能预测自我报告效价、唤醒标签的跨被试特征类型。我们简单合并了所有被试的数据，使用Weka的Ranker特征选择法使用信息增益启发式列出了前15个特征。我们对所有被试的高、低自我报告效价与唤醒标签数据进行此操作。特征分析结果见表6，对于效价数据，大约一半(8/15)选定特征基于氧合血红蛋白，另一半基于脱氧血红蛋白；对于唤醒数据，2/3的特征基于脱氧血红蛋白。这很值得注意，因为许多fNIRS研究只关注氧合血红蛋白数据，但我们的分析发现脱氧血红蛋白似乎在区分自我报告效价、唤醒方面发挥了重要作用。在前15个特征中经常出现分段均值特征并不奇怪，因为它们占了每个实例660个特征的很大一部分。

表6. 自我报告效价、唤醒的最具预测性特征前15位。

5.讨论

如表4、表5所示，在比较低-高效价、低-中效价、低-高唤醒、低-中唤醒的情况下，基于自我报告标签的模型比DEAP标签模型显示更高的F1分数。尽管使用DEAP标签和自我报告标签的F1分数结果较为相似，但基于自我报告标签的模型在区分低、高效价方面的表现要好很多，这可能是情绪感知个体差异造成的。

这些结果是跨被试训练的，显示出基于标记被试数据的大型数据集来训练分类器的潜力。Koelstra等人EEG研究报告的低、高效价分类F1分数为0.61，我们的自我报告低-高效价F1分数为0.739，这表明fNIRS可能获得了大脑中与效价测量有关的独特信息。fNIRS结果表明，DLPFC和布罗卡区信息对于区分效价水平特别有用，这与先前fMRI效价研究一致，尤其是听音乐的情况。我们假设fNIRS的高空间分辨率使其能够测量特定脑区(如DLPFC、布罗卡区这些对于效价测量至关重要的脑区)。在区分高、低唤醒时，自我报告F1分数为0.66，与Koelstra等人基于EEG分类获得的F1分数0.62相当。这些结果表明，fNIRS可用于测量情绪，补充生理数据，尤其是区分情绪的效价水平。值得注意的是，我们的分类器在区分高、低效价方面很强，但涉及与中性效价的比较时F1分数较低。这是合理的，因为中性效价介于高、低效价之间，可能更难区分。我们的分类器根据17名被试的数据构建，如果数据集包含两倍甚至三倍的被试数量，训练分类器显示的准确性可能会很有趣。

研究使用的高密度52通道fNIRS可以定位到激活脑区。图8显示了最能预测效价、唤醒水平的脑区，这揭示了效价、唤醒的神经相关性。值得注意的是，由脱氧血红蛋白生成的特征在区分效价、唤醒方面发挥了重要作用，我们呼吁fNIRS研究将脱氧血红蛋白纳入机器学习模型中，以从这些信息丰富的数据中受益。模型对效价的预测似乎很大程度依赖于BA9和BA46，它们对应背外侧前额叶皮层(DLPFC)。正如文献综述中所指出的，DLPFC已多次发现与情绪调节相关。第二个最能预测效价的区域是布罗卡区(BA45)。布罗卡区涉及语言处理，并已发现在处理音乐歌词时发挥作用。或许当被试在情感上与一首歌关联并完全投入歌词理解中时，布罗卡区会更多地参与其中。

预测唤醒水平的模型同样严重依赖DLFPC，这是合理的，因为该脑区与情绪体验密切关联。比较最能预测效价和唤醒的脑区发现是效价预测似乎涉及脑区相互关联的网络，而预测唤醒则不需要这样一个大面积的脑网络。例如，效价涉及额极(BA10)、额叶眼动区(BA8)，而唤醒模型并不十分依赖这些区域。额极与信息处理密切相关，而该区域与效价的联系比唤醒更强。

研究已发现额叶眼动区在视觉注意中发挥作用，最近的fMRI研究表明，带情绪的视觉信息会影响该区域的激活。也许效价维度上更具情感色彩的音乐视频也吸引了更多的视觉注意。同样有趣的是，效价、唤醒都涉及运动前区(BA6)，其不仅与将要执行运动的有意识计划有关，而且关联了更多关于运动的潜意识想法。如Warren等人所提出的，情绪化刺激可能已经引发了运动前区活动，因为大脑会下意识准备做出面部动作，例如微笑。这与前面提到的DLPFC激活有共同之处，因为被试会在调节对情绪内容的反应时激活该区。

这些结果令人鼓舞，它们证明了fNIRS定位功能性脑区的能力，之前这只能通过fMRI完成。当需要在正常工作条件下进行功能性脑区活动测量时，非侵入性的fNIRS可以有效测量大脑的情绪状态。不过，fNIRS受限于低时间分辨率，并且不能测量整个大脑，因此无法直接测量杏仁核这样的大脑深部区域，而这些区域也与情绪处理密切相关。我们不建议将fNIRS作为此类测量的唯一方式，但可以将其纳入使用EEG和其他多模态技术的情绪测量实验中。使用 fNIRS、EEG、ECG、GSR 等多项技术进行实验会很有趣，每种模式都提供了不同的生理测量值，当它们结合在一起时，可能为情感测量这个难题提供足够的信息，让我们可以全面、准确地了解一个人的情绪状态。特别是EEG和fNIRS的组合可以充分两者的优势，受益于EEG的高时间分辨率和fNIRS的高空间分辨率，这将使研究人员能够确定大脑哪些部分被任务激活，同时还能测量到神经活动的快速变化。

6.结论与展望

本文展示了使用fNIRS分类、区分情绪效价、唤醒的能力，fNIRS是一种实用的非侵入性设备，可以定位功能性脑区的激活，其空间分辨率与fMRI相当且优于EEG。fNIRS结果表明特定的功能性脑区在效价、唤醒变化时活动，这些区域与先前fMRI情绪研究结果相一致。不同于为每个参与者单独训练模型，我们使用fNIRS数据来构建跨被试模型，这避免了可用于模型训练、测试的数据量受限与模型过拟合。开发准确的跨被试机器学习模型对于构建可应用于不同被试、任务类型的稳健分类器(需大型数据集)是必要的。

我们的刺激材料和实验程序建立于Koelstra等人的研究基础之上，选用音乐视频来诱发各种情绪状态。Koelstra等人发现融合来自多项技术(EEG和其他生理测量)的数据可以提高分类准确性。我们建议将fNIRS作为额外的测量方式，进一步提高情绪模型的预测准确性。未来可以在被试佩戴fNIRS、EEG和其他生理传感器时进行相同实验，确定添加fNIRS技术可以实现准确性的提升。

如需原文及补充材料请添加思影科技微信：siyingyxf或18983979082获取,如对思影课程及服务感兴趣也可加此微信号咨询。另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布，如果我们的解读对您的研究有帮助，请给个转发支持以及右下角点击一下在看，是对思影科技的支持，感谢！

微信扫码或者长按选择识别关注思影

非常感谢转发支持与推荐

欢迎浏览思影的数据处理业务及课程介绍。（请直接点击下文文字即可浏览思影科技所有的课程，欢迎添加微信号siyingyxf或18983979082进行咨询，所有课程均开放报名，报名后我们会第一时间联系，并保留已报名学员名额）：

脑电及红外、眼动：