基于大脑的皮肤触摸通信和控制接口

近日，来自韩国高丽大学的团队设计了一个新的实验，收集了12名受试者在不同的触摸手势和身体姿势时产生的的脑电图（EEG）信号，并使用机器学习和深度学习评估了分类性能，以解码受试者的皮肤触摸意图，从而验证了开发皮肤接口技术的可行性。相关结果已在2023第11届脑机接口国际冬季会议上发表。

1

研究背景

最近，元宇宙提供了虚拟与现实融合的空间，挑战了传统的信息和通信技术（ICT）生态系统。开发适合新范式变化的可穿戴接口技术是一项重大挑战。非侵入性BCI系统可以解码大脑信号，理解用户意图，但仍需解决设备体积、使用便捷性等限制。

脑机接口是一种系统，能够解码大脑信号并与各种计算机和机器进行交互。它还被用于诊断和分析与触觉相关的各种触觉。许多研究从脑电图（EEG）信号中提取有关人认知的重要信息。同时当前的虚拟现实（VR）和增强现实（AR）设备存在体积大、使用限制和用户疲劳等问题。基于传感器的可穿戴设备也面临着传感器附着和输入空间狭窄等挑战。

图1 通过皮肤触摸的基于大脑的接口系统概述以及元宇宙环境的潜在应用

2

研究概述

利用神经生理学分析和机器学习技术，研究团队成功地设计了一个界面系统，能够解码与感觉相关的大脑信号，并将其应用于触摸手势输入，无需单独的输入设备，并证明了基于深度学习方法的高性能分类模型的可行性。

研究中，招募了12名受试者，在实验过程中，受试者被要求执行触摸手势任务，利用BrainAmp放大器记录信号，并分析了触摸和运动相关脑信号的事件相关电位（ERP）分类差异，进一步进行了功率谱密度(PSD)分析，分析了触摸位置各通道的频谱功率差异。同时，研究人员比较了常用的脑电信号解码方法：公共空间模式(CSP)-线性判别分析（LDA）算法和Lawhern等人提出的卷积神经网络（CNN）EEGNet算法，其中CSP-LDA算法表现出色。

图2 根据触摸手势输入类别，放置在运动和体感皮层区域上方的电极的慢皮层电位 (SCP)

结果发现： 在触摸手势任务中，触摸开始后的信号显示了明显的类别歧视差异，如图2所示，这可能与SCP有关。然而，与运动相关研究不同的是，触摸手势任务中的负峰出现在任务开始后约0.5到1.5秒，并非在运动前开始。这一现象是否与触摸和运动结合有关可能需要进一步研究来分析。在图3中可以看到，每个触摸手势类的ERP差异也很显著。

图3 触摸手势输入类别之间的 ERP 差异

图4触摸手势输入类别之间功率谱密度 (PSD) 值的配对样本 t 检验验证结果

此外，每个类别的PSD差异如图4中的地形图所示。显著性差异在μ波段(8-13 Hz)最为明显，同时手臂触摸类别的 PSD 值高于手掌触摸类别，使得触摸位置的分类性能较好。

表1 使用基线方法的两类触摸手势类别的总平均分类精度

在表1中，展示了分类性能评估的结果，休息时段和任务时段的分类表现显著，达到93.23(±1.41)%。触摸位置分类性能也优秀，为75.53(±8.30)%或更高，验证了系统的可行性。

3

研究意义

研究人员初步研究了基于皮肤触摸的下一代脑机接口技术，提出了无设备、徒手的可穿戴交互界面。实验测量了皮肤触摸产生的脑电图信号，并进行了神经生理学分析。机器学习模型在分类休息与任务、不同触摸位置上表现显著，计划进一步改进以实现基于BCI的交互界面系统。

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！

点击投稿：脑机接口社区学术新闻投稿指南

   加入社群  

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：