StabilityAI公司发布新模型StableLM Zephyr 3B 使人工智能的稳定性变得“讨人喜”

本文主要是介绍StabilityAI公司发布新模型StableLM Zephyr 3B 使人工智能的稳定性变得“讨人喜”,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Stability AI 最为人所知的是其稳定的扩散文本到图像生成 AI 模型套件,但这并不是该公司的全部。Stability AI 发布了最新的模型 ——StableLM Zephyr 3B,这是一个 30 亿参数的大型语言模型(LLM),用于聊天使用案例,包括文本生成、摘要和内容个性化。这个新模型是 StableLM 文本生成模型的一个更小、优化的版本,Stability AI 在 4 月份首次开始讨论该模型。

StableLM Zephyr 3B 的承诺是,它比 70 亿的 StableLM 模型更小,从而提供了一系列的好处。尺寸更小使其能够在更广泛的硬件上部署,资源占用更低,同时仍能提供快速响应。该模型经过了问答和指导类型任务的优化。

Stability AI 的首席执行官 Emad Mostaque 表示:“StableLM 经过了比之前的模型更长时间、质量更好的数据训练,例如,与 LLaMA v2 7b 相比,代币数量是后者的两倍,尽管体积只有后者的 40%,但在基本性能上仍然可以匹配。”。

StableLM Zephyr 3B 并不是一个全新的模型,而是 Stability AI 定义的现有 StableLM 3B-4e1t 模型的扩展。Zephyr 采用了一种由 HuggingFace 的 Zephyr 7B 模型启发的设计方法。HuggingFace 的 Zephyr 模型是在开源的 MIT 许可下开发的,旨在充当助手。Zephyr 使用了一种称为直接偏好优化(DPO)的训练方法,StableLM 现在也从中受益。

Mostaque 解释说,直接偏好优化(DPO)是一种替代性方法,用于调整之前的模型以适应人类的偏好。DPO 通常用于更大的 70 亿参数模型,而 StableLM Zephyr 是其中使用该技术的较小的 30 亿参数模型之一。

Stability AI 使用了 OpenBMB 研究小组的 UltraFeedback 数据集进行了 DPO 训练。UltraFeedback 数据集中有超过 64,000 个提示和 256,000 个响应。DPO、较小的模型尺寸和优化的数据训练集的结合使得 StableLM 在 Stability AI 提供的指标中表现出色。例如,在 MT Bench 评估中,StableLM Zephyr 3B 能够胜过 Meta 的 Llama-2-70b-chat 和 Anthropric 的 Claude-V1 等更大的模型。

StableLM Zephyr 3B 是 Stability AI 近几个月发布的一系列新模型中的一员,作为这家生成式 AI 初创公司不断推进其能力和工具的进展。

虽然 Stability AI 一直忙于扩展到不同的领域,但新模型并没有意味着该公司忽视了文本到图像生成的基础。上周,Stability AI 发布了 SDXL Turbo,作为其旗舰 SDXL 文本到图像稳定扩散模型的更快版本。

Mostaque 还明确表示,Stability AI 还有更多创新成果即将推出。“我们相信,小型、开放、高性能的模型,根据用户自己的数据进行调整,将胜过更大的通用模型。” 莫斯塔克说。“随着我们新的 StableLM 模型的全面发布,我们期待进一步推动生成式语言模型的民主化。”

这篇关于StabilityAI公司发布新模型StableLM Zephyr 3B 使人工智能的稳定性变得“讨人喜”的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/485347

相关文章

Nginx实现前端灰度发布

《Nginx实现前端灰度发布》灰度发布是一种重要的策略,它允许我们在不影响所有用户的情况下,逐步推出新功能或更新,通过灰度发布,我们可以测试新版本的稳定性和性能,下面就来介绍一下前端灰度发布的使用,感... 目录前言一、基于权重的流量分配二、基于 Cookie 的分流三、基于请求头的分流四、基于请求参数的分

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

定价129元!支持双频 Wi-Fi 5的华为AX1路由器发布

《定价129元!支持双频Wi-Fi5的华为AX1路由器发布》华为上周推出了其最新的入门级Wi-Fi5路由器——华为路由AX1,建议零售价129元,这款路由器配置如何?详细请看下文介... 华为 Wi-Fi 5 路由 AX1 已正式开售,新品支持双频 1200 兆、配有四个千兆网口、提供可视化智能诊断功能,建

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备(一)硬件要求(二)软件要求(三)创建虚拟环境三、安装依赖库四、获取 Dee

DeepSeek模型本地部署的详细教程

《DeepSeek模型本地部署的详细教程》DeepSeek作为一款开源且性能强大的大语言模型,提供了灵活的本地部署方案,让用户能够在本地环境中高效运行模型,同时保护数据隐私,在本地成功部署DeepSe... 目录一、环境准备(一)硬件需求(二)软件依赖二、安装Ollama三、下载并部署DeepSeek模型选