RLHF即从人类反馈中强化学习。本文就来介绍大语言模型(LLM)是如何与RLHF结合起来的。
RLHF的机制
强化学习是机器学习的一个领域，其中代理通过与其环境的交互来学习策略。代理采取行动，这些动作会影响代理所处的环境，进而转换到新状态并返回奖励。奖励是使强化学习的智能体能够调整其动作策略的反馈信号。当智能体经历训练阶段时，它会调整其策略以采取一系列行动来最大化其回报。
因此，设计正确的奖励系统是强化学习的关键。而RLHF就是从人类的反馈中强化学习，通过将人类纳入训练过程来增强强化学习代理的训练。
RLHF通用框架
大型语言模型(LLM)的RLHF包括三个阶段。首先，从预训练的语言模型开始。因为LLM需要大量的训练数据。通过人工反馈从零开始训练它们是不合理的。所以可以通过无监督学习进行预训练，将现成的语言模型创建并做输出。
接下来，进入第二阶段，为RL系统创建奖励模型。在此阶段，我们训练另一个机器学习模型，该模型接收主模型生成的文本并生成质量分数。这第二个模型通常是另一个LLM，它被修改为输出标量值而不是文本标记序列。
为了训练奖励模型，我们必须创建一个LLM生成的质量标记文本数据集。为了组成每个训练示例，我们给主LLM一个提示并让它生成几个输出。然后，我们要求人工评估人生成文本的质量。然后我们训练奖励模型来预测LLM文本的分数。通过在LLM的输出和排名分数上进行训练，奖励模型创建了人类偏好的数学表示。
在最后阶段，我们创建强化学习循环。主LLM的副本成为RL代理。在每个训练集中，LLM从训练数据集中获取多个提示并生成文本。然后将其输出传递给奖励模型，该模型提供一个分数来评估其与人类偏好的一致性。然后更新LLM以创建在奖励模型上得分更高的输出。
虽然这是语言模型的RLHF通用框架，但不同的实现目标需要进行对应修改。
RLHF中对语言模型的另一个考虑是保持奖励优化和语言一致性之间的平衡。奖励模型是对人类偏好的不完美近似。与大多数RL系统一样，代理LLM可能会找到一条捷径来最大化奖励，同时违反语法或逻辑一致性。为防止这种情况，ML团队在RL循环中保留了原始LLM的副本。原始和RL训练的LLM的输出之间的差异（也称为KL散度）作为负值集成到奖励信号中，以防止模型和原始输出偏差太多。
