监督微调（Supervised Fine-Tuning, SFT）和基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）是预训练后提升语言模型能力的两大基础流程，其目标是使模型更贴近人类的偏好和需求。 考虑到监督微调的有效性有限，以及RLHF构建数据和计算成本高昂，这两种方法常常被结合使用。但由于损失函数、数据格式的差异以及对