脑机接口(BCI)又有新动态 !
前次是马斯克 Neuralink 公司完成了山公用意念操控光标打游戏。这次,斯坦福大学、霍华德?休斯医学研讨所(HHMI)、布朗大学等团队用 BCI 完成了瘫痪患者将脑中的 “笔迹” 转化成屏幕字句。
“这项研讨代表了 BCI 和机器学习技能开展的重要里程碑 ,相关研讨正在提醒人脑怎么操控像通讯这样杂乱的进程,为改进神经损害和瘫痪者的日子供给了重要根底。” 美国国立卫生研讨院脑科学方案(NIH BRAIN Initiative)主任约翰?恩盖(John Ngai)博士在承受媒体采访时说道。
图丨脑机接口 “手写输入” 进程(来历:Twitter)
研讨人员开发了一种皮质内 BCI,初次对瘫痪患者书写字母相关的神经信号进行递归神经网络解码,然后在电脑屏幕上实时显现这些字母的打字版别。
图丨Nature 封面图(来历:Nature)
5 月 12 日,相关研讨以《经过手写完成高性能认识文本转化》“High-performance brain-to-text communication via handwriting” 为题宣布在 Nature,并且登上 Nature 封面。该研讨为 BCI 拓荒了一种新办法,并证明了瘫痪患者在神经麻木多年后仍可完成精准解码、快速、灵敏运动。
图丨相关论文截图(来历:Nature)
初次完成解码手写 “笔迹”该研讨论文作者之一、HHMI 研讨员克里希纳?谢诺伊(Krishna Shenoy)在承受媒体采访时表明,“此次研讨的最大的立异是初次破译了与手写笔迹有关的大脑信号,能够让瘫痪患者不必手也能快速打字。”
据了解,该团队的研讨参加者是一位 65 岁的截瘫患者,其手因脊髓损害而瘫痪。经过运用该 BCI 技能,其字母输入在线原始精度为 94.1%,离线通用精度为 99%以上。
图丨实时手写测验的神经解码 (来历:Nature)
那么,该技能是怎么做到 “解读” 大脑信号的呢?
该技能的效果原理是 “两个细小的植入电极阵列将操控手和手臂的大脑区域信息传递给相关算法”,该算法将其转化为出现在屏幕上的字母。
图丨受试者手写笔迹(来历:NPG Press)
首要,要求参加者仿制屏幕上显现的字母,其间包含 26 个小写字母以及一些标点符号:“>” 用作空格,“?” 用作句号。一起,植入的电极记录了大约 200 个别神经元的大脑活动,这些神经元在大脑 “写” 每个个别特征时反响不同。
经过一系列练习后,BCI 的计算机算法学习了怎么辨认与单个字母相对应的神经形式,然后使参加者能够 “编写” 曾经未打印过的新语句,并且计算机能够实时显现字母。
斯坦福大学 HHMI 研讨科学家弗兰克?威利特( Frank Willett)博士在承受媒体采访时说:“这种办法是对现有通讯 BCI 的显着改进,后者依赖于运用大脑在屏幕上移动光标来‘键入’单词。测验写每个字母会在大脑中发生共同的活动形式,使计算机更简略以更高的精确性和速度来辨认所写的内容。”
图丨测验手写的神经表征(来历:Nature)
其实,该技能的底层算法逻辑与 Siri 有相似之处。例如,问 Siri “今天天气怎么”,Siri 经屡次体系练习、辨认、解读,最终做出反响。
简略来讲,首要提取脑电波信号,然后生成可视化图画处理,再对可视化的图画对应进行信号辨认。
密西根州立大学生物医学工程系助理教授李金星告知 DeepTech,原始的可视化图画并不代表便是最终辨认的成果,研讨人员经过一系列练习,不断对信号进行修正和改进。辨认的精准度从试验初期的 30% 进步到了 99%。
李金星以为,该技能最大的打破是初次完成了用脑电波手写打字。他进一步解说,“完成手写字母的输出是对十分灵敏的动作的解码,用户在幻想字母的手写笔迹时,脑电波的信号比移动光标愈加丰厚,因而也愈加精准。”
图丨时刻改变的添加能够使运动更简略解码(来历:Nature)
除此之外,该技能还具有输入速度快、运用灵敏的长处。
?速度快。
华中科技大学 AI 与自动化学院脑机接口与机器学习试验室主任伍冬睿表明,该技能输入速度是一大前进,可接近正常人在智能手机的打字速度。研讨中试验者输入速度是 90 字符 / 分钟,而正常人在智能手机的打字速度是 115 字符 / 分钟。
现在,根据头皮脑电(EEG)的 P300 或运动幻想范式的文字输入速度约为 1-5 个字符 / 分钟,稳态视觉诱发电位(SSVEP)范式的速度可达 60 字符 / 分钟。植入式脑机接口体系可操控二维光标移动来输入文字,可是速度不超越 40 字符 / 分钟。
?运用灵敏。
稳态视觉诱发电位输入速度尽管也比较快,可是需求显现器,并且用户要十分专心地凝视显现器上闪耀的字符,并且眼睛被彻底占用,也易疲惫。
一般来说,其输入速度(即每个字符闪耀多长时刻)也是体系预先设置好的,而不是由用户自主操控的。
“该技能能够让用户自己操控输入速度,无需其他外在设备合作,也能够把眼睛彻底解放出来,因而更为灵敏。” 伍冬睿说。
图丨受试者试验中(来历:NPG Press)
该技能尽管优势显着,可是在运用时还有一些困难需求战胜。例如,怎样辨认 2 和 Z 这种十分附近的字符。
伍冬睿以为,处理该问题的的途径可考虑以下两点:
首要,关于比较附近的字符,能够规划一些代替字符。比方,论文中提出了优化的字符,让字符间差异尽量大一点,以更简略区别。假如 2 被规划成相似 “∩” 的形状,就很简略与 Z 区别。
其次,结合上下文区别附近字符。比方,字母 Z 的前后一般是其他英文字母,而 2 的前后或许是其他数字或空格。凭借这些上下文信息,也有助于区别这两个字符。
未来 BCI 有望完成更快、更精准据媒体报道,研讨团队下一步将测验新体系,将手写输入文本作为新体系的一部分,该体系还包含点击导航,相似于当时智能手机上运用的导航,包含测验语音解码。
脑陆科技合伙人、AI 算法担任人马鹏程以为,BCI 意念打字可落地的方向与目标集体可清晰分为两类:
第一类是针对有运动障碍的集体,经过脑机接口设备的辅佐,运用意念打字功用完成与外界无障碍交流与交流,处理中心的通讯与操控问题;
第二类是正常人群的高效交互东西需求,意念打字成为与文本输入、语音输入并行的新的交互方法,或许会成为社会变革、推进下一轮技能革命最重要的导火线。
图丨脑机接口(来历:Pixabay)
而该研讨想要进一步落地开展,从技能视点,还需求不断完善。
?该研讨现在只在一位用户上试验成功,能否推行到更多用户还需求进一步验证。
实践上,该研讨中的 T5 用户是之前试验中 3 个用户中效果最好的用户,所以被用来做这个试验。“假如其他用户也参加本试验的话,或许效果会差一些。” 伍冬睿说。
李金星表明,该技能的未来研讨需求考虑个别差异性。每个人的脑电波信号或许不太相同,所以,未来需求深度学习和技能数据不断晋级以及更多的临床事例研讨。
?字符精准度需进一步进步。
本研讨运用了 26 个英文字符和 5 个特别字符,共 31 个字符。“实践中常用的字符比这些要多,比方 10 个数字就没有被考虑进去。更大的字符集应该会下降精确度。” 伍冬睿说。
?完成输入的杂乱功用。
当时试验不论成果对错,用户都持续输入。而正常的文本编辑中,用户需求纠正过错。怎么完成光标跳转、删去、刺进等更杂乱的功用,是需求进一步考虑的问题。
?脑电信号易用性的进步。
脑电信号并非平稳,该体系每次运用前需求从头校准,会花费用户的时刻和精力。该技能需求更好的算法以缩短乃至消除校准,进步易用性。
?进步电极质量,下降手术危险。
该技能需求精细手术植入式电极,可是由于人体排异反响,该类电极并非一了百了,运用一段时刻后信号质量会下降,需求从头植入,添加了手术危险和用户花费。“进步电极质量,下降排异反响,对该技能大规模运用是十分重要的。” 伍冬睿表明。
?设备的小型化与无线。设备小型化和无线化将有利于用户运动、操作的便利性。
伍冬睿以为,未来三到五年,跟着电极寿数、灵敏度和密度的进一步进步,以及解码算法的进一步开展,该技能有望更快、更精确。
谈及产业化落地,马鹏程表明,以咱们在各行业 AI+BCI 的大规模实践运用经历视点来看,AI 结合脑机接口技能(侵入式及非侵入式)完成意念打字,在构建高质量的大规模模型练习数据集后,结合实践的意念打字需求的运用场景进行产品规划。“我以为,应该能很快研宣布可实践运用的脑机意念打字产品。未来产业化的速度有或许超出咱们所有人的幻想。”
图|植入大脑的微型电极阵列(来历:BrainGate)
假如未来脑机接口技能老练,将会怎么样呢?
李金星表明,短期来看,脑机接口的下一个打破或许会在非侵入的输入技能开展,经过脑刺激将外界信号传递给大脑,然后完成对神经体系损害疾病(如帕金森、癫痫等)以及心理疾病(如抑郁症、自闭症等)的缓解效果。
他以为,从长远来看,或许人类只需求大脑而存在,或许会真实完成“人机共融”。