前言 LongAlign: A Recipe for Long Context Alignment of Large Language Models 这是一个由清华 ChatGLM 团队提出的长上下文指令微调数据、模型训练、评测方案一条龙。主要包括： 长文数据集：从九个来源收集长序列，通过 Self-Instruct 用 Claude 2.1 构建的一个长指令遵循数据集，10000条，长度在

引言 随着大型语言模型（LLMs）的不断进化，我们现在能够处理的文本长度已经达到了前所未有的规模——从最初的几百个tokens到现在的128k tokens，相当于一本300页的书。这一进步为语义信息的提供、错误率的减少以及用户体验的提升打开了新的可能性。智谱技术团队与清华大学的最新合作成果——LongAlign模型，专注于长文本的精准对齐问题，不仅突破了长上下文处理的技术瓶颈，而且在数据集构建