一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!

2024-04-24 00:28

本文主要是介绍一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

公共资源速递

This Weekly Snapshots !

5 个数据集:

* 老乡鸡菜品溯源报告

* Quora 文本分类研究数据集

* dmsc_v2 电影评论数据集

* 15 个动物图像分类数据集

* TriviaQA 用于阅读理解和问答的大型数据集

3 个模型:

* Llama3-8B-instruct 

* Llama3-70B

* FuseChat-7B-VaRM 

3 个教程:

* 用 Ollama 和 Open WebUI 部署 Llama3-8B

* 用 Ollama 和 Open WebUI 部署 Llama3-70B

* SUPIR-AI 图像修复教程

访问官网立即使用:openbayes.com

公共数据集

1. 老乡鸡菜品溯源报告

该数据集覆盖老乡鸡当前 1,218 家餐厅共计 226 个 SKU 、873 种原料以及 305 家供应商。老乡鸡将 677 页共 20 万字的《老乡鸡菜品溯源报告》向社会全面公开。

直接使用:

https://go.openbayes.com/DZMtq

2. Quora Duplicate Questions 文本分类研究数据集

该数据集是判别文本中的问题对是否为重复问题的数据集,主要用于文本分类研究。数据集由超过 400,000 行潜在问题重复对组成。每行包含对中每个问题的 ID、每个问题的完整文本以及指示该行是否真正包含重复对的二进制值。

直接使用:

https://go.openbayes.com/YUwdx

3.dmsc_v2 电影评论数据集

该数据集包含超 70 万用户对 28 部电影的超 200 万条评分或评论数据。适用于推荐系统、情感/观点/评论等倾向性分析的任务。

直接使用:

https://go.openbayes.com/ZloQG

4. 15 个动物图像分类数据集

该数据集包含 15 个动物的图像文件夹,所有图像大小均为 224X224,适合图像分类。图像是从网络下载的并使用 OpenCV 库进行了预处理(调整大小和增强)。

直接使用:

https://go.openbayes.com/14eum

5.TriviaQA 用于阅读理解和问答的大型数据集

该数据集是基于文本的问答数据集,其中包括从维基百科和网络收集的 662K 文档中的 950K 问答对。

直接使用:

https://go.openbayes.com/cQsMP

公共模型

1. Llama3-8B-instruct

该模型为 Meta 发布的 Llama 3 大语言模型系列的 8B 规模参数模型,可以用于在消费级 GPU 上高效部署和开发。模型的上下文长度为 8k,预训练数据的截止日期为 2023 年 3 月。

直接使用:

https://go.openbayes.com/bV75K

2. Llama3-70B

该模型为 Meta 新一代开源大模型 Llama 3 的 70B 规模参数模型,适用于大规模 AI 原生应用程序。模型的上下文长度为 8k,预训练数据的截止日期为 2023 年 12 月。

直接使用:

https://go.openbayes.com/xd6KU

3. FuseChat-7B-VaRM

FuseAI 提出了一个扩展的 FuseLLM 框架,将多个结构和尺度不同的聊天 LLM 的集体知识和个人优势融合为一个更强大的聊天 LLM,即 FuseChat。

直接使用:

https://go.openbayes.com/Nwi5x

公共教程

1. 使用 Ollama 和 Open WebUI 部署 Llama3-8B

该教程为 Ollama + Open WebUI 一键运行包,只需按步骤输入命令即可运行 Llama3-8B。

在线运行:

https://go.openbayes.com/abGbx

2. 使用 Ollama 和 Open WebUI 部署 Llama3-70B

该教程为 Ollama + Open WebUI 一键运行包,仅需按步骤输入命令即可运行 Llama3-70B。虽然模型参数较大,但经过平台部署后单卡 A6000 就能使用,仅占用 1.07 GB 存储。

在线运行:

https://go.openbayes.com/ymPcZ

3. 在线教程|张国荣、鲁迅等老照片秒变高清!即刻上手的超火 SUPIR-AI 图像修复教程

SUPIR 是一款非常强大的开源AI图像放大工具,它可以将低分辨率的图像放大到高分辨率,同时保持图像的细节和真实感。现已上线至 OpenBayes「公共教程」,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击链接即可一键修复图片

在线运行:

https://go.openbayes.com/wHqCt

以上就是小贝上周在 OpenBayes 的全部更新内容啦~

此外,OpenBayes 平台还提供超过 500 个精选公共数据集、模型、教程等优质资源,并已经整合到「公共资源」模块中。OpenBayes 平台支持一键 Input,开箱即用!

https://www.bilibili.com/video/BV1MC4y1A72S/?spm_id_from=333.999.0.0&vd_source=5e54209e1f8c68b7f1dc3df8aabf856c

这篇关于一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/930288

相关文章

Springboot中分析SQL性能的两种方式详解

《Springboot中分析SQL性能的两种方式详解》文章介绍了SQL性能分析的两种方式:MyBatis-Plus性能分析插件和p6spy框架,MyBatis-Plus插件配置简单,适用于开发和测试环... 目录SQL性能分析的两种方式:功能介绍实现方式:实现步骤:SQL性能分析的两种方式:功能介绍记录

golang内存对齐的项目实践

《golang内存对齐的项目实践》本文主要介绍了golang内存对齐的项目实践,内存对齐不仅有助于提高内存访问效率,还确保了与硬件接口的兼容性,是Go语言编程中不可忽视的重要优化手段,下面就来介绍一下... 目录一、结构体中的字段顺序与内存对齐二、内存对齐的原理与规则三、调整结构体字段顺序优化内存对齐四、内

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

Tomcat高效部署与性能优化方式

《Tomcat高效部署与性能优化方式》本文介绍了如何高效部署Tomcat并进行性能优化,以确保Web应用的稳定运行和高效响应,高效部署包括环境准备、安装Tomcat、配置Tomcat、部署应用和启动T... 目录Tomcat高效部署与性能优化一、引言二、Tomcat高效部署三、Tomcat性能优化总结Tom

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备(一)硬件要求(二)软件要求(三)创建虚拟环境三、安装依赖库四、获取 Dee

DeepSeek模型本地部署的详细教程

《DeepSeek模型本地部署的详细教程》DeepSeek作为一款开源且性能强大的大语言模型,提供了灵活的本地部署方案,让用户能够在本地环境中高效运行模型,同时保护数据隐私,在本地成功部署DeepSe... 目录一、环境准备(一)硬件需求(二)软件依赖二、安装Ollama三、下载并部署DeepSeek模型选

Linux内存泄露的原因排查和解决方案(内存管理方法)

《Linux内存泄露的原因排查和解决方案(内存管理方法)》文章主要介绍了运维团队在Linux处理LB服务内存暴涨、内存报警问题的过程,从发现问题、排查原因到制定解决方案,并从中学习了Linux内存管理... 目录一、问题二、排查过程三、解决方案四、内存管理方法1)linux内存寻址2)Linux分页机制3)