近日，美国斯坦福大学的团队提出了一种新的基于大语言模型表示的微调方法，称为ReFT。该方法通过训练干预模块来干预模型表示，以达到训练目标。近日，预印本网站arXiv上发表了一篇题为《ReFT：针对大语言模型基于表征的微调方法》（ReFT: Representation Finetuning for Language Models）的相关论文[1]。斯坦福大学博士生吴正轩和Araman Arora为共同第一作者，Christopher Potts教授为通讯作者。

图丨相关论文（来源：arXiv）

吴正轩是斯坦福大学自然语言处理组的博士生。这项研究的设计思路来自于一次偶然的实验。当时，他和两个合作者想证实一个猜想：通过训练一个小的表示干预模块，一个大模型是否可以总是输出“对不起，我不知道”？结果，他们在只改变线性子空间中的单个神经元的情况下做到了这一点。在此基础上，开发了ReFT。需要理解的是，模型表示没有参数，它是模型在线生成的产物。现有的针对大型模型的参数高效微调（PEFT）通常需要训练少量的模型参数，或者为新添加的适配器微调少量的参数，或者像前缀词微调一样训练少量的词向量。吴正轩说：“我们增加了‘表征干预模块’的概念，它负责修改具体的表征，以达到训练目标。”

图丨吴正轩（来源：吴正轩）

干预的表示通常是极少数标记位置的表示，以帮助研究人员保存训练参数。输入序列中的时间概念是关键。现有的PEFT 通常忽略时间的概念，而是对模型产生的表示进行全局修改。换句话说，每一层、每一段对应的表示都会发生变化，以达到训练目标。 “我们认为这是不必要的。通常，大型模型的表示已经有了非常有意义的表示。例如，单词在空间向量中的位置和单词的含义通常是相关的。”吴正轩说。基于此，研究团队推测，如果只修改一小部分表示，是否可以达到训练目标？模型和可解释性为其方法提供了理论基础。在ReFT之前，该领域已经有一些表示修改方法可以实现控制模型输出的能力。不同的是，团队提出的LoReFT方法是基于“线性子空间”的概念。线性子空间来源于早期神经网络的相关研究[2-4]，这些研究都提出了一个假设：神经网络学到的概念存在于线性子空间中。吴正轩表示，基于这些理论基础，课题组提出的新方法在表示的线性子空间中进行了修改，命名为LoReFT。

（来源：arXiv）

“在这个示意图中，我们干预了前两个和后两个分词对应的所有层的表示。”吴正轩说道。 ReFT 允许研究人员跨不同时间步骤和地点进行干预。到目前为止，他们只对提示词进行干预。当跨层干预时，权重不共享。 “我们还没有尝试干预特定的因果路径，”他说。 “更复杂的ReFT 或自动ReFT 希望效果更好。能够更好地控制数学推理的ReFT 会很酷。” ReFT 依赖于解释性工作的见解，并且反过来可能能够为该领域贡献见解。 “我们希望能够从更积极的角度来解释我们的模型，而不是将它们视为可以修剪和理解的静态参考对象，并且可以从模型中创建有用且可解释的抽象。”吴正轩说。

（来源：arXiv）

一般来说，很多人只关注模型的权重更新是如何通过训练得出的。通过这项研究，研究团队将把“干预”的概念呈现给更多的研究者。 “表示干预实际上节省了计算能力，有更多的扩展空间，并且不会对推理时间造成太大损失。”吴正轩说道。虽然ReFT 展示了对齐的可能性，但研究小组也期待通过干预训练或编辑表征来完成它。通过微调表示，您实质上创建了一个灰盒模型，用户可以在该模型上进行部分控制，并了解模型在干预条件下的行为方式。换句话说，你能做的因果抽象越多，你获得的控制力就越多。吴正轩表示：“出乎意料的是，ReFT达到或非常接近最先进的水平（SOTA，State of the Art），这意味着我们的语言模型在其表示空间上有更多的探索潜力。 ”。参考：1.https://arxiv.org/pdf/2404.035922.https://web.stanford.edu/~jlmcc/papers/PDP/Volume%202/Chap22_PDP86.pdf3.https://direct.mit.edu/books/monograph/4424/Parallel-Distributed-Processing- Volume4.https://arxiv.org/abs/2402.15179操作/排版：何晨龙