本文由“脑机接口社区”团队原创。请联系我们以获得转载许可。本文是Pavithra Rajeswaran 和Amy L. Orsborn 在Nature 上发表的评论，主要是Willett 等人对意念笔迹的研究。我们的思考速度比沟通速度快得多—— 我们中的许多人在使用智能手机键盘时都意识到了这一点。对于重度瘫痪的人来说，这种信息瓶颈更加极端。威利特等人。在期刊《Nature》 [1] 上发表了一篇论文，报告了用于打字的脑机接口（BCI）的开发，该接口最终可以让瘫痪的人以他们的思维速度打字。沟通。
市售的辅助打字设备主要依赖于使用该设备的人能够进行眼球运动或发出语音命令。眼动追踪键盘允许瘫痪患者每分钟输入47.5 个字符[2]，这比没有类似障碍的人每分钟输入115 个字符要慢。然而，这些技术并不适合影响眼球运动或言语的瘫痪患者。而且该技术也有局限性。例如，当您用眼睛打字时，很难同时打字和阅读电子邮件。相比之下，脑机接口通过破译大脑活动模式来恢复功能。这样的界面已经成功地恢复了简单的动作，例如瘫痪的人伸手和操纵大型物体[3-7]。通过直接利用神经处理，BCI 有望无缝地恢复广大人群的功能。
然而，到目前为止，用于打字的脑机接口还无法与眼动仪等简单的辅助技术竞争。原因之一是打字是一项复杂的任务。在英语中，我们从26 个拉丁字母中进行选择。构建一个分类算法来根据用户的神经活动来预测用户想要选择哪个字母是一个挑战，因此BCI 间接解决了打字任务。例如，非侵入式BCI 拼写器向用户呈现几个连续的视觉提示，并分析对所有提示的神经反应以确定所需的字母[8]。最成功的侵入式脑机接口（iBCI；一种方法是将电极植入大脑中）用于打字，允许用户控制光标选择按键，打字速度可以达到每分钟40个字符[6]。但这些iBCI 与非侵入式眼动仪一样，会占用用户的视觉注意力，并且无法提供明显更快的打字速度。 Willett 和同事开发了一种不同的方法，可以直接解决iBCI 中的打字任务，从而在性能和功能方面远远超越了过去的设备。这种方法允许用户在想象自己以自己的速度书写的同时解码字母（图1）。
用于打字的脑机接口（BCI）
这种方法需要一种分类算法来预测瘫痪用户正在尝试书写26 个字母或5 个标点符号中的哪一个。这种方法无法观察瘫痪用户的这些尝试并在用户选择时做出预测。是一项具有挑战性的壮举。为了克服这一挑战，威利特等人。首先重新利用了另一种类型的算法，—— 一种最初为语音识别开发的机器学习算法。这使他们能够仅根据神经活动来估计用户何时开始尝试书写字符。每次研究参与者想象一个给定的角色时，所产生的神经活动模式都非常一致。根据这些信息，团队生成了一个标记数据集，其中包含与每个角色对应的神经活动模式。他们使用这个数据集来训练分类算法。为了在如此高维的空间中实现精确分类，Willett 及其同事的分类算法使用了当前的机器学习方法，以及一种称为循环神经网络(RNN) 的人工神经网络，该网络特别擅长预测顺序。数据。利用神经网络的力量需要大量的训练数据，但这些数据在神经接口上受到限制，因为很少有用户愿意想象持续几个小时的写作。作者使用一种称为数据增强的方法解决了这个问题，其中使用参与者先前生成的神经活动模式来生成人工句子来训练RNN。他们还通过在神经活动模式中引入人工变异来模拟人脑中自然发生的变化，从而增强了训练数据。这种可变性可以使RNN BCI 更加稳健[9]。使用这些方法，Willett 及其同事的算法提供了令人印象深刻的准确分类，在94.1% 的时间内选择了正确的字符。通过添加预测语言模型（类似于智能手机上的自动纠错功能），他们进一步将准确率提高到了99.1%。参与者能够以每分钟90 个字符的速度准确打字，是他使用过去的iBCI 打字速度的两倍。然而，这项研究的成果超出了机器学习的范围。解码器的性能最终取决于输入数据。研究人员发现，与手写尝试相关的神经数据特别适合打字任务和分类。即使使用更简单的线性算法也可以很好地对笔迹进行分类，这一事实表明神经数据本身在作者方法的成功中发挥着重要作用。 Willett 等人通过在测试不同类型的神经活动时模拟分类算法的性能。做出了重要发现，即手写时的神经活动比用户尝试画直线时具有更多的时间变异性。变性实际上使分类变得更容易。这些知识应该为未来的脑机接口提供信息。也许与直觉相反，解码复杂的行为可能比解码简单的行为更有利，尤其是对于分类任务。
对象的“笔迹”
Willett 和同事的研究开始兑现BCI 技术的承诺。 iBCIs 需要提供显着的性能和可用性优势，以证明与将电极植入大脑相关的费用和风险是合理的。重要的是，打字速度并不是决定是否采用该技术的唯一因素；还需要分析该方法的寿命和稳健性。作者提出了有希望的证据，表明他们的算法在有限的训练数据下表现良好，但可能需要进一步的研究来使设备在神经活动模式发生变化时能够在其整个生命周期中保持性能。进行研究以测试该方法是否可以推广到实验室外的其他用户和环境也很重要。另一个问题是如何扩展这种方法并翻译成其他语言。 Willett 及其同事的模拟强调，拉丁字母中的几个字符的书写方式相似（例如r、v 和u），因此比其他字符更难分类。我们中的一个人(PR) 讲泰米尔语，泰米尔语有247 个字符，而且通常关系非常密切，因此很难分类。而且，翻译问题对于机器学习预测语言模型中尚未得到很好表征的语言尤其重要。尽管还有很多工作要做，但Willett 及其同事的研究是一个里程碑，拓宽了iBCI 应用的边界。由于它使用快速改进的机器学习方法，插入最先进的模型为未来的改进提供了一条有希望的途径。该团队还将公开其数据集，这将加速进展。作者的方法使通过神经接口的快速通信更接近现实。
参考
Nature封面：脑机接口重大突破！用意念书写速度破记录！
doi: https://doi.org/10.1038/d41586-021-00776-8
1. Willett, F. R.Avansino, D. T.Hochberg, L. R.Henderson, J. M. Shenoy, K. V. Nature 593, 249254 (2021)。
2.Mott, M. E.Williams, S.Wobbrock, J. O. Morris, M. R.《Proc》。 2017 CHI 会议计算系统中的人为因素25582570（ACM，2017）。
3.Hochberg，L.R.等人。自然442, 164171 (2006)。
4.Hochberg，L.R.等人。自然485, 372375 (2012)。
5. Collinger, J. L. 等人。柳叶刀381, 557564 (2013)。
6.Pandarinath，C.等人。 eLife 6，e18554 (2017)。
7. Ajiboye, A. B. 等人。柳叶刀389, 18211830 (2017)。
8.Rezeika，A.等人。脑科学。 8, 57 (2018)。
9. Sussillo, D.Stavisky, S. D.Kao, J. C.Ryu, S. I. Shenoy、K. V. Nature Commun。 7、13749（2016）。
