evalscope评测LLM

2024-08-29 09:52
文章标签 评测 llm evalscope

本文主要是介绍evalscope评测LLM，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

教程：
https://evalscope.readthedocs.io/zh-cn/latest/user_guides/opencompass_backend.html
安装包：
pip install evalscope[opencompass] -U

设置环境变量：
export DATASET_SOURCE=ModelScope

VLLM部署模型为接口服务

然后测试

这篇关于evalscope评测LLM的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1117525。

相关文章

免费也能高质量！2024年免费录屏软件深度对比评测

免费也能高质量！2024年免费录屏软件深度对比评测

我公司因为客户覆盖面广的原因经常会开远程会议，有时候说的内容比较广需要引用多份的数据，我记录起来有一定难度，所以一般都用录屏工具来记录会议内容。这次我们来一起探索有什么免费录屏工具可以提高我们的工作效率吧。 1.福晰录屏大师 链接直达：https://www.foxitsoftware.cn/REC/  录屏软件录屏功能就是本职，这款录屏工具在录屏模式上提供了多种选项，可以选择屏幕录制、窗口
阅读更多...
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 大语言模型已被广泛采用，但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程，用于Transformer中的前馈和注意力投影层，这可以将推理所需
阅读更多...
LLM系列 | 38：解读阿里开源语音多模态模型Qwen2-Audio

LLM系列 | 38：解读阿里开源语音多模态模型Qwen2-Audio

引言 模型概述 模型架构 训练方法 性能评估 实战演示 总结 引言 金山挂月窥禅径，沙鸟听经恋法门。 小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖铁观音的小男孩，今天这篇小作文主要是介绍阿里巴巴的语音多模态大模型Qwen2-Audio。近日，阿里巴巴Qwen团队发布了最新的大规模音频-语言模型Qwen2-Audio及其技术报告。该模型在音频理解和多模态交互
阅读更多...
LLM应用实战: 产业治理多标签分类

LLM应用实战: 产业治理多标签分类

数据介绍 标签体系 产业治理方面的标签体系共计200+个，每个标签共有4个层级，且第3、4层级有标签含义的概括信息。 原始数据 企业官网介绍数据，包括基本介绍、主要产品等 企业专利数据，包括专利名称和专利摘要信息，且专利的数据量大。 LLM选型 经调研，采用Qwen2-72B-Instruct-GPTQ-Int4量化版本，占用显存更少，且效果与非量化相当，
阅读更多...
【最新华为OD机试E卷-支持在线评测】机器人活动区域(100分)多语言题解-(Python/C/JavaScript/Java/Cpp)

【最新华为OD机试E卷-支持在线评测】机器人活动区域(100分)多语言题解-(Python/C/JavaScript/Java/Cpp)

🍭 大家好这里是春秋招笔试突围 ，一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-E/D卷的三语言AC题解 💻 ACM金牌🏅️团队| 多次AK大厂笔试 ｜ 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 🍿 最新华为OD机试D卷目录，全、新、准，题目覆盖率达 95% 以上，支持题目在线评测，专栏文章质量平均 94 分 最新华为OD机试目录: https://blog.
阅读更多...
LLM大模型教程：langchain 教程

LLM大模型教程：langchain 教程

软件安装 pip install pymupdfpip install langchainpip install langchain-cliconda install -c pytorch -c nvidia faiss-gpu=1.7.4 mkl=2021 blas=1.0=mkl 由于langchain不支持qwen模型，我们需要自定义模型 from typing import A
阅读更多...
LLM模型：代码讲解Transformer运行原理

LLM模型：代码讲解Transformer运行原理

视频讲解、获取源码：LLM模型：代码讲解Transformer运行原理(1)_哔哩哔哩_bilibili 1 训练保存模型文件 2 模型推理 3 推理代码 import torchimport tiktokenfrom wutenglan_model import WutenglanModelimport pyttsx3# 设置设备为CUDA（如果可用），否则使用CPU#
阅读更多...
深度评测热门翻译工具，携手你的翻译得力助手

深度评测热门翻译工具，携手你的翻译得力助手

随着互联网技术的飞速发展，全球化交流日益频繁，跨语言沟通的需求也随之激增。对于外语水平有限的朋友来说，翻译器是一个必不可少的工具。今天我就分享几款我用的翻译器吧。 1.福晰在线翻译  链接直达>>https://fanyi.pdf365.cn/doc  该网站以其高度的专业性著称，专为翻译需求而精心打造。它不仅支持用户粘贴部分文字进行即时翻译，更贴心地提供了整份PDF文档的导入翻译功能，极大
阅读更多...
【最新华为OD机试E卷-支持在线评测】分糖果(100分)-多语言题解-(Python/C/JavaScript/Java/Cpp)

【最新华为OD机试E卷-支持在线评测】分糖果(100分)-多语言题解-(Python/C/JavaScript/Java/Cpp)

🍭 大家好这里是春秋招笔试突围 ，一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-E/D卷的三语言AC题解 💻 ACM金牌🏅️团队| 多次AK大厂笔试 ｜ 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 🍿 最新华为OD机试D卷目录，全、新、准，题目覆盖率达 95% 以上，支持题目在线评测，专栏文章质量平均 94 分 最新华为OD机试目录: https://blog.
阅读更多...
[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

https://github.com/sramshetty/ShortGPT/tree/main My剪枝方案（暂定）：         剪枝目标：1.5B —> 100～600M         剪枝方法：                 层粒度剪枝                 1、基于BI分数选择P%的冗余层，P=60~80                 2、对前N%冗余层，
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2