脑机接口系统已被广泛研究，以使患有运动瘫痪的人能够控制辅助机器人设备，取代或恢复失去的功能。日本京都国际高级电信研究所的研究人员开展了一项研究，健康的参与者能够通过使用非侵入性脑机接口来控制类人机械臂并实现多任务处理，在执行目标导向任务的同时使用自己的手臂执行不同的任务。这一研究为探索未来健康人的人体增强应用开辟了可能性，不仅可以增强执行特定任务的能力，还可以扩展同时执行多项任务的能力。
多任务处理涉及同时执行两个独立的任务。使用多余的机器人肢体进行多任务处理不仅可以增强实现特定任务的能力，还可以扩展人类可以同时执行任务的数量。与依赖通过身体部位运动解码的控制信号的协作任务相比，多任务处理需要解码用户的意图，而不考虑身体部位的移动，因为这些身体部位同时执行另一项任务。直接从大脑信号解码用户意图，用大脑控制人体增强装置和多任务处理是人体增强的两个主要目标。
15名参与者进行了这项实验，参与者控制机械臂，并同时执行两项任务：一项任务由机械臂完成，另一项任务由自己的手臂完成。参与者通过想象一个以目标为导向的动作，激活机器人抓住物体，与此同时，平衡手中木板上的球。机械臂放置在参与者旁边，营造一种错觉，即机械臂是从他们自己身体里出来的，如图1A所示。在单一任务下，参与者被要求想象用机械臂抓取或释放瓶子的动作。实验者将瓶子放置在离机械臂很近的位置，以便抓住它，并在瓶子释放时将其拿走，如图1C所示。机械臂具有从静止位置到抓取位置的预编程运动轨迹，该运动轨迹由校准期间选择的电极的功率谱密度控制。在多任务下，参与者必须以与单任务相同的方式控制机械臂，同时平衡放置在板上的球，如图1D所示。
收集了20个试验来评估每个试验的性能。单任务的总体表现为67.5%，多任务的整体表现为72.5%。研究假设单个任务的分布是单峰的，多个任务的分布是双峰的。分为两类人，表现好的人和表现差的人。在实验开始时（基线）、多任务期间和实验结束时执行并评估球平衡任务（图2）。评估指标是通过颜色形状检测算法计算的，该算法跟踪黄色球经过放置在平衡板上的均匀分布的彩色标记中心的次数（图1B）。
超过一半的参与者能够用脑机接口控制机械臂实现多任务处理，同时用自己的手臂执行另一项任务。对于这些参与者来说，与单一任务期间的大脑激活相比，执行两项任务时的大脑激活更容易区分。另一方面，表现不佳的人未能操作机械臂的原因可能是同时执行两项任务的复杂性，增加了注意力转换的过载。注意力的分散可能不允许参与者同时完全集中在两个任务上，从而在其中一个任务中获得更高的分数，而不能同时在两个任务中都获得好的表现，因此表现不佳的人在多任务评估期间的平衡表现得分更高（图3）。
在多任务下，注意力从一项任务转移到另一项任务，这意味着认知资源也从主要任务转移到了并行任务，这对主要任务的成功执行产生了干扰。这种干扰的影响尚不完全清楚，但可能两项任务都需要相同的大脑区域来处理不同类型的信息，或者一个特定的大脑区域在平行任务期间激活，从而影响在主要任务期间变为活跃的另一个大脑区域的活动。图4显示，与初始阶段相比，多任务期间的平衡性能略有下降。在最后阶段中，参与者对自己的球平衡技能更有信心，但执行任务的准确性较低。因为视觉系统被编程为在黄色球正好越过棋盘上的彩色标记时分配更高的分数，所以球保持平衡但不符合该评估标准的参与者获得的分数较低。
可能影响手臂控制性能结果的其他因素是（i）机械臂的视觉外观；（ii）参与者在实验期间可能经历的第三只手臂的所有权错觉程度；（iii）实验期间的任务类型。对于多任务状态，除了上述因素外，参与者先前的协调和注意力水平也可能起到重要作用。关于视觉外观，机械臂的类人外观可能会在操作员中引发身体所有权转移的错觉。研究人员意图使用类人机械臂来提高参与者的所有权错觉，但这一结果并没有完全实现。与身体所有权直接相关的分数（Q1：“我觉得我在看自己的手臂”，Q2：“我感觉机械臂是我身体的一部分”）不是很高。这种结果的原因可能是（i）缺乏错觉诱导（视觉和触摸反馈不同步）；（ii）机械臂的运动和参与者的期望之间存在差异；（iii）参与者与手臂相处时间短，不足以习惯。尽管身体所有权转移的错觉没有完全实现，但实验中使用类人机械臂有可能促成良好的控制性能。另一个可能有助于控制的因素是代理感，代理感是指作为自己行为的代理人或所有者的感觉。大多数参与者都表达了这种感觉，因为他们认为自己正在导致机械臂移动（Q6）。
许多研究已将伽马频段与广泛的认知过程联系起来，包括学习、注意力、记忆和视觉听觉感知。伽马频段对物体感知的各种刺激特征敏感，包括物体熟悉度、所呈现物体的类别以及物体的成功记忆编码和检索。与常见的运动想象不同，其特征是在手的运动或想象手的运动调节大脑前运动区（主要是C3和C4），研究表明参与者能够调节其他大脑区域，如左、右额叶皮层（F3和F4）和左顶叶（P3）。这一发现可以与EEG和fMRI的大量研究相关联，表明横跨顶叶和额叶皮层的大规模网络介导选择性注意。也可能是实验任务类型在激活这些区域上发挥了重要作用，因为顶叶和额叶皮层在控制目标导向行为方面很重要。
1）准备工作。参与者坐在舒适的椅子上，佩戴16通道脑电帽。参考电极安装在右耳上，接地电极安装在前额上。一只类人机械臂放在参与者左侧，以产生一种从他们自己身上出来的错觉。五自由度机械臂由气动执行器控制，并由类人皮肤硅材料覆盖。
2）球平衡基线训练。参与者被要求手持球平衡板（宽60cm，高45cm），该板包含四个不同形状和颜色的标记，放置在距离板角落10cm的地方。摄像机放置在参与者上方（朝下对着球平衡板）监测板的活动。颜色形状检测算法跟踪标记的位置和黄色球的轨迹。参与者被要求通过让球越过四个标记中的每一个来持续平衡球4min。在给定以下标准的情况下，该算法生成了一个球平衡分数：（i）黄色球必须“接触”标记的确切中心才能生成一个分数；（ii）最终分数是根据所有标记之间的总分数分布计算的（100%意味着每个标记的分数为25%）。
3）探索性训练。让参与者熟悉在单任务和多任务的校准和评估阶段要进行的活动。在单任务条件下，参与者被要求想象“用机械臂抓瓶子”，当听觉提示（铃声）被激活两次，实验者将瓶子靠近机械臂。10s后，播放一次铃声，实验者拿走瓶子，此时参与者被要求想象“释放瓶子并放松手臂”，持续10s。最后，播放另一个铃声，通知参与者试验结束，如图7所示。在多任务状态下，当铃声激活时，参与者被要求想象抓握-释放动作的同时执行球平衡任务。探索性训练共包括10项试验（5项针对单一任务的试验，5项针对多任务的试验）。两次试验之间有2s休息期。
4）校准和评估训练。在校准过程中，参与者连续进行了10次单任务试验，在线计算EEG数据的功率谱密度。在评估过程中，所选电极和频带的功率谱密度数据被映射到机械臂的运动轨迹。评估训练包括20次试验，在前10次试验后休息2分钟。多任务的校准和评估以相同的方式进行，但在“抓握-释放”活动的同时增加了额外的球平衡任务。收集每个试验的球平衡得分，并对所有试验进行平均，以计算整个训练得分。
5）最终球平衡训练。以与基线训练相同的方式，参与者进行了4min不间断球平衡任务，并计算了总分。
6）实验后调查。通过七分量化表调查，从强烈的分歧（一分）到强烈的一致（七分），旨在获得参与者的看法。
此研究揭示了人类大脑不仅能够控制外部设备，而且能够在多任务处理下应对和调整。这为探索未来使用不同类型机械臂的协作和并行任务的其他应用开辟了可能性。另一方面，开发脑控智能机械臂也很重要，这种机械臂具有上下文感知能力，可以补充基于大脑的命令，可以根据上下文（即对象的类型）以不同的方式执行动作（即不同的抓取配置）。未来的智能机械臂将有可能具有识别上下文和优化行为以匹配用户意图的视觉能力。
来源：
https://www.science.org/doi/10.1126/scirobotics.aat1228
—— End ——
仅用于学术分享，若侵权请留言，即时删侵！
更多阅读
专家观点：最近Neuralink FDA IDE的真正含义是什么?
加入社群
欢迎加入脑机接口社区交流群，
探讨脑机接口领域话题，实时跟踪脑机接口前沿。
加微信群：
联系客服
