Nous Hermes 2：超越Mixtral 8x7B的MOE模型新高度

本文主要是介绍Nous Hermes 2：超越Mixtral 8x7B的MOE模型新高度，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

引言

随着人工智能技术的迅猛发展，开源大模型在近几年成为了AI领域的热点。最近，Nous Research公司发布了其基于Mixtral 8x7B开发的新型大模型——Nous Hermes 2，这一模型在多项基准测试中超越了Mixtral 8x7B Instruct，标志着MOE（Mixture of Experts，专家混合模型）技术的新突破。

Huggingface模型下载：https://huggingface.co/NousResearch
AI快站模型免费加速下载：https://aifasthub.com/models/NousResearch

MOE模型的技术优势

MOE模型，即“专家混合模型”，是一种将多个不同的模型组合在一起，使它们在处理特定任务时能够相互补充并提高整体性能的方法。这种方法的优势在于它能有效地整合不同模型的专业知识，从而提高处理复杂任务的能力。Nous Hermes 2正是基于此技术构建，通过融合多个“专家”模型，使得整体性能得到显著提升。

Nous Hermes 2的核心特性

Nous Hermes 2是在Mixtral 8x7B的基础上通过进一步微调而成。这个模型通过SFT（Supervised Fine-Tuning，有监督微调）和DPO（Distributed Pseudo Output，分布式伪输出）两种方法得到优化，分别发布了两个版本：Nous Hermes 2 Mixtral 8x7B SFT和Nous Hermes 2 Mixtral 8x7B DPO。这两个版本都展示了在多个基准测试中的卓越性能。

Nous Hermes 2的性能评测

Nous Hermes 2在多个评测标准上均展示出了其卓越的性能。在GPT4All、AGI-Eval以及BigBench推理测试中，Nous Hermes 2均取得了高于Mixtral Instruct的成绩。特别是在GPT4All测试中，Nous Hermes 2的平均成绩达到了75.7%，在AGI-Eval的平均成绩为46.05%，而在BigBench的平均成绩为49.7%。