面向生命健康领域的脑机接口技术展望
发布时间: 2020-11-18
作者:赵新刚,中国科学院沈阳自动化研究所
01 脑机接口技术的重要意义
脑机接口(brain computer interface,BCI)是一种特殊的通信系统,它能够使大脑与外界环境进行“直接”的信息交流,而不依赖于人体的运动系统或外周神经。大脑不同的思维意识会产生不同的神经元电活动,而脑机接口系统对这些神经电活动信号进行处理,提取出具有明确意义的特征信号来控制外界的设备。对那些无法直接使用键盘、鼠标或其他接口设备的残疾患者来说,脑机接口系统可能是其唯一可行的通信系统。传统脑机接口系统致力于帮助重度残疾用户发送消息或命令,最新的研究也开始寻求帮助健康用户提升能力或进行状态监控。在这些领域,脑机接口都具有广阔的应用价值。
脑机接口系统主要由三部分组成:信号提取、信号处理与分析,以及控制信号的转化与系统整合。①信号提取。脑信息提取方法分为侵入式和非侵入式两类。侵入式方法将电极植入颅骨或脑皮层,测量神经元集群放电时产生的脉冲信号,这种方法测量的脑信号具有较好的时间分辨率,噪声干扰也较小,但手术具有一定的风险。非侵入式测量方法包括头皮脑电图(electroencephalograph,EEG)、功能性磁共振、功能性近红外光谱(functional near infrared spectroscopy,fNIRS)、脑磁图(magnetoencephalography,MEG)等。此类信号的采集不需要将芯片植入颅内,但相应的信号会受到各种噪声干扰。其中,EEG 信号由于具有较好的时间分辨率、相对便宜的价格以及便携性,是目前应用最为广泛的脑信号采集技术。②信号处理与分析。从信号采集系统得到的脑信号是一种微弱的复杂信号,常常混有各种伪迹或噪声,给信号的处理和分析增添了许多难度。通常,在实施信号检测或分析之前,必须进行预处理(如去噪、分离、分类等),然后再作进一步的特征提取和分析处理。信号处理与分析是脑机接口系统的核心技术之一,是把使用者的脑电输入信号转换为控制外界装置的输出信号的关键步骤。③控制信号的转化与系统整合。脑机接口技术是一种在很多场景都有良好应用前景的通用支撑性技术,针对不同的应用开发各自的控制信号提取方法并与系统整合,是脑机接口系统研究的重要一环。从信号处理算法中得到的指令因为技术限制可能无法完全满足实用的要求,需要将脑机接口技术与人体行为学、智能决策理论、机器人等技术进行更深层次的融合,以提升脑机接口技术的实用性。
脑机接口作为一种新型的人机交互技术,在生命健康领域的很多场景中都具有重要的应用前景。脑机接口系统可以替代患者因受伤或疾病而失去的部分身体功能(如脑控拼写系统、脑控轮椅等),或者可以帮助患者恢复自身的功能(如使用脑控功能电刺激来恢复患者的运动功能)。除此之外,脑机接口系统还可以帮助用户进行强化自身能力的训练。例如,基于脑机接口的中风患者康复训练可以帮助恢复大脑—肢体神经通路,达到更好的康复训练效果。便携式的脑机接口系统会使患者的运动康复成为其生活的一部分,还可以通过解码截瘫患者大脑信号控制外骨骼或刺激肢体肌肉来帮助患者行走。
未来脑机接口系统的目标是整合各种生物信号(特别是大脑活动信号),将人、机器、环境三者无缝地连接起来。越来越多的应用将使用大脑信号作为重要的信息来源。我们会看到脑机接口在健康、医疗、游戏、教育等各种专业领域的广泛应用,尤其是健康、游戏、教育等领域的应用将把大脑和程序联系起来,实现人与系统全面的交互共融。例如,使用脑机接口系统进行大脑生理心理状态的监控,监测司机的注意力以保证其驾驶过程的安全性,监测学生学习时大脑负荷以保证较好的学习效率,甚至人们可以根据检测到的自身的疲劳程度,来判断是否要在当下做出一些重要决策。
02 脑机接口技术发展现状
自从1929 年“人类脑电图之父”Hans Berger 发现人的头皮脑电信号后,全世界的许多研究所和研究者开始关注脑电信号处理技术与方法。从1973 年脑机接口系统的雏形被首次提出开始,关于脑机接口的研究已经历时40 余年。虽然早期的研究取得了一些很有价值的研究成果,但是受当时技术条件的限制,脑机接口研究未能取得实质性进展。20 世纪90 年代,随着信息技术和计算机技术的高速发展,脑机接口技术研究进入了一个新的发展时期。
在脑机接口系统的发展历程中,有一些具有重要意义的实例。1999 年,《自然》杂志首次发表了有关脑机接口的文章,利用慢皮层电位实现了拼写脑机接口系统。同年,美国沃兹沃思(Wadsworth)研究中心在纽约伦斯勒维尔(Rensselaerville)学院召开了第一届脑机接口技术国际会议。2003 年,《自然》杂志报道了Nicolelis 在杜克大学开展的猴脑控制机器人的实验研究工作。2006年,布朗大学的研究人员把一个由100 个电极组成的微阵列放入人的初级运动皮层中,收集神经电脉冲,将人的运动意图转化为外置装置的真实运动。该成果被《探索》杂志评为2006 年七大技术发现中最重要的技术发现之一。侵入式脑电因存在有创、电极兼容性等问题,目前仅在动物及少数残疾人身上做过实验。近年来非侵入式脑机接口技术取得快速发展。2009 年,美国威斯康星大学的研究人员使用基于P300 的脑机接口系统,通过意念发出了由23 个字符组成的推特(Twitter)信息,被美国《时代周刊》评为2009 年最有价值的50 个发明之一。2016 年,《科学报道》(Scientific Reports)报道了Meng 等研制的一款非侵入式脑控机械臂系统,实现机械臂完成不同难度的物体抓取任务,获得了较为理想的控制效果。美国麻省理工学院于2018 年研制出一套融合脑/肌电的机械臂操控系统,基于错误电位脑电判断出机器人执行任务的正确性,并根据肌电操控改正机器人操作行为,实现准确、快速的人机交互。国内清华大学、华南理工大学、西安交通大学等在稳态视觉诱发电位(SSVEP)、P300、运动想象脑机接口系统研究方面先后开展了一系列工作,在脑电刺激实验范式、信号处理等方面取得了显著成果。2016 年,我国自主研发的在轨脑-机交互系统在“天宫二号”上成功实现了人类首次太空脑机交互实验,为此后深入开展先进交互技术在轨适应性研究及技术应用起到了重要作用。
脑机接口技术属于多学科交叉研究领域,目前从事神经生理、神经信息工程、康复医学、生物医学工程、电子工程、控制工程、机器学习和数学等领域的科技工作者都加入该项研究的行列中,使得该领域研究充满活力和生机。除了一些国内外著名大学和研究机构外,一些高科技企业也投入巨额资金从事该项研发工作,如谷歌X 实验室、Neuralink 公司等。当前脑机接口系统的研究主要集中在脑电信号模式、控制信号解码算法(包括特征提取、分类识别)、应用系统等方面。研究者逐渐发现单纯提升离线识别的精度并不能显著提升脑机接口的性能,部分研究者开始在探索和发现新的脑电信号模式、设计新的脑机接口控制范式方面开展多样性的研究工作。脑机接口技术有以下四个方面的发展趋势。第一,系统的输出指令会变得更加复杂,并且从离散指令向连续指令发展。第二,脑机接口将从同步控制逐步走向异步控制。同步控制需要设置单独的时间窗来提取大脑信号,而异步控制在连续的时间尺度上随时提取信号,这是脑机接口实用化的必要条件。第三,融合多种大脑信号构成混合脑机接口也会成为未来的发展趋势之一,如同时采用自发脑电和诱发脑电的混合系统。第四,除了对脑电信号解码与脑机接口系统自身的改进,让脑机接口走向实用化的应用性研究也是未来的研究重点。例如,开展脑控系统的智能化、网络化研究,拓展新的应用领域,考虑人机融合系统的理论和方法研究等。许多研究机构开展了对残疾人的临床研究,涉及的病例包括截瘫、肌萎缩侧索硬化症等典型的运动功能障碍,这为探索脑机接口系统实用化应用奠定了基础。
03 脑机接口关键技术
脑机接口是涉及神经科学、认知科学、计算机科学、控制及信息科学与技术、医学等多学科、多领域的技术。各个领域的技术进程都会影响脑机接口系统的性能,其中传感器技术、信号处理与分类技术是两个最为关键的因素。
对侵入式脑机接口系统来说,传感器技术是制约其广泛使用的关键点。侵入式脑机接口可以分为多电极阵列(MEA)和皮层脑电图(ECoG)两种。MEA 是由数十至数百个刺入皮质表面的1~10 毫米探针组成的阵列。MEA 技术的研究重点是提升使用寿命和结合多个电极的信息从而最大化提升信息量。ECoG 使用皮层表面的电极测量大量神经元所激发的场电位。对侵入式脑机接口(无论是MEA 还是ECoG),其关键技术难点都是长期可用性以及长期使用下用户的安全问题。未来另一个关键技术点是如何使用微创手术来实现这些系统的便捷植入。
对非侵入式脑机接口系统来说,最为常用也是最有前景的技术是基于EEG的脑机接口技术。从硬件层面来说,影响EEG 应用的关键技术在于易用性和信号的可靠性。现有的EEG 采集设备往往需要使用导电介质(导电膏或盐水),这极大地影响了EEG 设备的应用。目前,虽然也有一些使用干电极的设备,但其信号质量相对于使用导电介质的设备要差。易用性的另一个问题在于放大器的尺寸,为了实现广泛的应用,必须进一步减小EEG 放大器的物理尺寸和功耗。EEG 在采集的过程中会受到各种噪声的干扰,如何降低信号噪声、提高信号可用性也是EEG 传感器技术所要考虑的问题。
除了传感器技术,对采集到的脑信号进行分析也非常具有挑战性,主要原因有两点。首先,无论哪种信号采集手段,其记录下来的数据都是感兴趣的信号与大量其他信号的叠加,这些其他信号包括其他不感兴趣的脑区信号、肌肉电信号以及非生物信号。其次,大脑活动表现出很强的个体差异性,因此需要使用具有个体适应性的信号处理和机器学习算法来从大脑信号中提取有意义的成分。同时,如何减少建立模型所需数据量进而减少训练模型所需时间也是研究者需要考虑的。而对用户来说,另一个重要问题在于长时间使用脑机接口系统时,其脑信号自身的特性会随着时间而改变。这种改变一方面让我们的算法必须能够适应这种变化而不至随着时间慢慢失效,另一方面,这种变化也有其积极的一面,脑信号这种随时间的变化具有一定自调制性,也即人会适应脑机接口系统而使脑信号变得更有可分辨性,这能让系统具有更好的使用性能。
对脑信号的处理可以分为信号预处理、特征提取和识别三个阶段。信号预处理是一种通用的信号层面的处理手段,其目的是为了去掉噪声或增强信号,是信号到信号的转化过程。特征提取是从信号中提取出那些更能表达我们感兴趣信息的特征的过程,其输出不再是信号,而是与信号具有不同维度的特征。识别是将这些特征转化为我们想要的指令的过程,常见的识别过程有分类(输出离散指令)和回归(输出连续指令)。在这三个步骤中,脑机接口领域最主要研究的是特征提取阶段的算法,因为这一步骤直接影响了我们从脑信号中提取感兴趣信息的效率,其次是信号预处理算法,这一类算法一定程度上增强了信号的质量。而识别算法的研究较少,这是机器学习的研究领域,有大量成熟的算法可供借鉴。未来,算法的研究依然会集中在信号预处理与特征提取中,研究的方向在于提升识别的精度、提高信息传输率、减少训练模型所需时间、增强长期使用时模型的稳定性以及减小算法自身的复杂度。除此之外,建立纯粹基于数据驱动的信号处理方法,也是未来的研究重点之一。数据驱动方法是目前机器学习领域的研究热点,也是未来的发展趋势。在脑机接口领域使用数据驱动的方法,建立合适的数据驱动模型是提升目前系统性能的方法之一。
04 脑机接口技术发展战略
从科学的角度考虑,脑机接口涉及神经科学、认知科学、计算机科学、控制及信息科学与技术、医学等多个学科。从应用的角度考虑,脑机接口在医疗康复、辅助、教育、心理等多个领域都能有很好的应用。整合多个领域的研究、攻坚脑机接口关键技术以及应用的快速部署,快速发现问题并反馈,是发展脑机接口技术的关键。
要加强脑机接口技术的平台建设。一个完整的脑机接口研究应包括新型脑信号采集设备研发平台、多模态脑信号采集与处理系统、多类脑机接口应用平台。脑机接口是一门新兴交叉学科,未来的技术路线尚有大量不确定性,需要进行各项技术的对比与融合。一个理想的脑机接口技术平台不一定要包含所有的脑信号采集系统和所有类型的应用验证平台,但单一的采集系统或应用平台有可能会让研究陷入局限,不利于找到合适的系统方案,因此综合分析利用多种脑信号信息是一种合理的选择。
要加强不同团队间的技术、设备与数据的共享。如上所述,脑机接口需要进行各项技术的对比与融合,而脑机接口技术系统中的技术流程分支较多,一个研究团队很难建立全面的平台。这种情况下,加强团队间的合作就是最好的选择。脑信号的处理算法性能是目前限制脑机接口走向实用的关键问题之一。人工智能领域的经验表明,基于大数据是提升算法性能的有效方法,而脑信号采集耗时长、有效数据量少,单个团队很难构建大数据系统。设计统一的实验范式、融合多个团队的数据是构建脑机接口领域的大数据集的可行方式。
脑机接口技术要得到良好的发展,必须加强科研机构与企业的合作。脑机接口是一项实用性的技术,大量的问题必须在实用中才能发现,脑机接口中的各类技术、方法也必须在大量使用中才能得到验证。只在实验室研究,期望能够设计出完美的脑机接口系统再走向应用无异闭门造车,而将技术推向大量的用户是企业所擅长的。充分发挥研究机构与企业的优势,是加快脑机接口技术未来发展的重要途径。
本文摘编自《中国生命健康2035 技术预见》(中国科学院创新发展研究中心,中国生命健康技术预见研究组著. 北京:科学出版社,2020.8)一书,标题为编者所加。