CohereForAI更新企业级开源模型 c4ai-command-r-08-2024和c4ai-command-r-plus-08-2024

2024-09-01 08:36

本文主要是介绍CohereForAI更新企业级开源模型 c4ai-command-r-08-2024和c4ai-command-r-plus-08-2024,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述

C4AI Command R 08-2024 是一个 350 亿参数高性能生成模型的研究版本。 Command R 08-2024 是一个大型语言模型,采用开放式权重,针对推理、总结和问题解答等各种用例进行了优化。 Command R 08-2024 具备多语言生成功能,曾在 23 种语言上进行过训练,并在 10 种语言上进行过评估,还具备高性能的 RAG 功能。

  • Point of Contact: Cohere For AI: cohere.for.ai
  • License: CC-BY-NC, requires also adhering to C4AI’s Acceptable Use Policy
  • Model: c4ai-command-r-08-2024
  • Model Size: 35 billion parameters
  • Context length: 128K

在这里插入图片描述

C4AI Command R+ 08-2024 是一个 1040 亿参数模型的开放权重研究版本,具有非常先进的功能,包括检索增强生成(RAG)和工具使用,可自动完成复杂的任务。 该模型生成中的工具使用可实现多步骤工具使用,从而使模型能够在多个步骤中结合多个工具来完成困难的任务。 C4AI Command R+ 08-2024 是一个多语种模型,使用 23 种语言进行训练,并用 10 种语言进行评估。 Command R+ 08-2024 针对推理、总结和问题解答等各种使用情况进行了优化。

  • Point of Contact: Cohere For AI: cohere.for.ai
  • License: CC-BY-NC, requires also adhering to C4AI’s Acceptable Use Policy
  • Model: c4ai-command-r-plus-08-2024
  • Model Size: 104 billion parameters
  • Context length: 128K

代码

# pip install 'transformers>=4.39.1'
from transformers import AutoTokenizer, AutoModelForCausalLMmodel_id = "CohereForAI/c4ai-command-r-08-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)# Format message with the command-r-08-2024 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>gen_tokens = model.generate(input_ids, max_new_tokens=100, do_sample=True, temperature=0.3,
)gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)
# pip install 'transformers>=4.39.1'
from transformers import AutoTokenizer, AutoModelForCausalLMmodel_id = "CohereForAI/c4ai-command-r-plus-08-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)# Format message with the command-r-plus-08-2024 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>gen_tokens = model.generate(input_ids, max_new_tokens=100, do_sample=True, temperature=0.3,)gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

模型详细信息

输入: 模型仅输入文本。

输出: 模型仅生成文本。

模型架构: 这是一个自动回归语言模型,使用优化的转换器架构。 经过预训练后,该模型使用监督微调(SFT)和偏好训练,使模型行为与人类对有用性和安全性的偏好保持一致。 我们使用分组查询关注(GQA)来提高推理速度。

涵盖语言: 该模型已在 23 种语言(英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语、简体中文、俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印尼语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语)上进行了训练,并在 10 种语言(英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语和简体中文)上进行了评估。

接地生成和 RAG 功能:R08-2024 指挥系统经过专门培训,具备接地生成功能。 这意味着它可以根据提供的文件片段列表生成响应,并在响应中包含标明信息来源的基础跨度(引文)。 这种行为是通过监督微调和偏好微调混合使用特定的提示模板训练到模型中的。 偏离该提示模板可能会降低性能,但我们鼓励尝试。

R 08-2024 命令的底层生成行为以对话为输入(可选择用户提供的系统前言,说明任务、上下文和所需的输出风格),以及检索到的文档片段列表。 文档片段应该是片段,而不是长文档,通常每个片段大约 100-400 字。 文档片段由键值对组成。

在默认情况下,Command R 08-2024 将通过以下方式生成接地响应:首先预测哪些文档是相关的,然后预测它将引用哪些文档,最后生成答案。 最后,它会在答案中插入接地跨度。 请看下面的示例。 这就是所谓的精确接地生成。

该模型在训练时还采用了其他一些答题模式,可通过更改提示来选择。 标记符号生成器支持快速引用模式,该模式将直接生成包含接地跨度的答案,而无需先将答案全文写出。 这样做会牺牲一些接地的准确性,而有利于生成更少的标记。

代码功能:Command R 08-2024 经过优化,可通过请求代码片段、代码解释或代码重写与您的代码进行交互。 对于纯粹的代码自动补全,它的性能可能不会很好。 为了获得更好的性能,我们还建议对代码生成相关指令使用低温(甚至是贪婪解码)。

这篇关于CohereForAI更新企业级开源模型 c4ai-command-r-08-2024和c4ai-command-r-plus-08-2024的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1126449

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Spring Boot结成MyBatis-Plus最全配置指南

《SpringBoot结成MyBatis-Plus最全配置指南》本文主要介绍了SpringBoot结成MyBatis-Plus最全配置指南,包括依赖引入、配置数据源、Mapper扫描、基本CRUD操... 目录前言详细操作一.创建项目并引入相关依赖二.配置数据源信息三.编写相关代码查zsRArly询数据库数

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

MySQL新增字段后Java实体未更新的潜在问题与解决方案

《MySQL新增字段后Java实体未更新的潜在问题与解决方案》在Java+MySQL的开发中,我们通常使用ORM框架来映射数据库表与Java对象,但有时候,数据库表结构变更(如新增字段)后,开发人员可... 目录引言1. 问题背景:数据库与 Java 实体不同步1.1 常见场景1.2 示例代码2. 不同操作

一文详解SQL Server如何跟踪自动统计信息更新

《一文详解SQLServer如何跟踪自动统计信息更新》SQLServer数据库中,我们都清楚统计信息对于优化器来说非常重要,所以本文就来和大家简单聊一聊SQLServer如何跟踪自动统计信息更新吧... SQL Server数据库中,我们都清楚统计信息对于优化器来说非常重要。一般情况下,我们会开启"自动更新

mybatis-plus分页无效问题解决

《mybatis-plus分页无效问题解决》本文主要介绍了mybatis-plus分页无效问题解决,原因是配置分页插件的版本问题,旧版本和新版本的MyBatis-Plus需要不同的分页配置,感兴趣的可... 昨天在做一www.chinasem.cn个新项目使用myBATis-plus分页一直失败,后来经过多方

mybatis-plus 实现查询表名动态修改的示例代码

《mybatis-plus实现查询表名动态修改的示例代码》通过MyBatis-Plus实现表名的动态替换,根据配置或入参选择不同的表,本文主要介绍了mybatis-plus实现查询表名动态修改的示... 目录实现数据库初始化依赖包配置读取类设置 myBATis-plus 插件测试通过 mybatis-plu

MyBatis-Plus中Service接口的lambdaUpdate用法及实例分析

《MyBatis-Plus中Service接口的lambdaUpdate用法及实例分析》本文将详细讲解MyBatis-Plus中的lambdaUpdate用法,并提供丰富的案例来帮助读者更好地理解和应... 目录深入探索MyBATis-Plus中Service接口的lambdaUpdate用法及示例案例背景

MyBatis-Plus中静态工具Db的多种用法及实例分析

《MyBatis-Plus中静态工具Db的多种用法及实例分析》本文将详细讲解MyBatis-Plus中静态工具Db的各种用法,并结合具体案例进行演示和说明,具有很好的参考价值,希望对大家有所帮助,如有... 目录MyBATis-Plus中静态工具Db的多种用法及实例案例背景使用静态工具Db进行数据库操作插入

无需邀请码!Manus复刻开源版OpenManus下载安装与体验

《无需邀请码!Manus复刻开源版OpenManus下载安装与体验》Manus的完美复刻开源版OpenManus安装与体验,无需邀请码,手把手教你如何在本地安装与配置Manus的开源版OpenManu... Manus是什么?Manus 是 Monica 团队推出的全球首款通用型 AI Agent。Man