hugging face:大模型时代的github介绍

2024-06-19 07:12

本文主要是介绍hugging face:大模型时代的github介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. Hugging Face是什么:

Hugging Face大模型时代的“github”,很多人有个这样的认知,但是我觉得不完全准确,他们相似的地方在于资源丰富,github有各种各样的软件代码和示例,但是它不是系统的,没有经过规划管理,Hugging Face不一样,它是有系统的,有更聚焦的主题,规划和主线。

我尝试这样去理解它,希望会更加贴切 :

如果大模型是一盘盘精致的菜肴,那么Hugging Face就是一个设备和食材丰富的中央厨房,走进去挑选趁手的锅碗瓢盆和食材就可以做菜,里面还有预制菜,利用它的资源很容易就能做出所需要的菜肴 。

大模型是菜肴,Hugging Face就是设备食材都齐全的中央厨房 。

2. Hugging Face有哪些东西 ?

对于做大模型相关的人来说,Hugging Face就是个宝藏库,里面超多好用的东西,但是想要快速理解,对初学者有实际价值的,主要是三大块:

  1. Hugging Face hub :镜像云资源池,里面有各种大模型和数据集,可以直接API下载调用,只要知道每个大模型能干什么,就可以即拿即用 。

  2. Transformers : 大模型工具集,一系列的API用来加载模型数据,前后处理,数据处理,模型训练,模型量化,模型fine-tune等功能。

  3. Hugging Face Spaces:云计算资源,可免费托管你自己的应用或者大模型,提供远程界面验证和演示。

2.1 Hugging Face Hub

https://huggingface.co/

Hugging Face Hub就是一个池子,里面有丰富的资源,主要的就是模型和数据。有超过1万个预训练模型,以及对应的数据,详细如下:

The Hugging Face Hub is a platform with over 120k models, 20k datasets, and 50k demos in which people can easily collaborate in their ML workflows. The Hub works as a central place where anyone can share, explore, discover, and experiment with open-source Machine Learning.

2.1.1 模型

模型是分类的,有计算机视觉相关的,NLP,多模态,语音,表格处理,强化学习等等,资源非常丰富,详细分类如下:

  1. 计算机视觉

深度估计,图片分类,物体检测,图片分割,文生图,图生文,图生图,图生视频 等等。

图片

  1. NLP

图片

  1. 多模态:

虚拟问答,图生文,文档问答等

图片

  1. Audio

文字生成语音,自动语音识别,语音转语音,语音分类等

图片

  1. 表格处理

表格的分类和表格表示

图片

  1. 强化学习

强化学习和机器人相关

图片

  1. 其他

图片

2.1.2 数据

数据的分类和模型的一模一样,基本上模型有的数据也配套有。

2.2 Transformers 工具集

首先它是一个Python 库 。

这个库能直接加载支持的多种模型和数据,它跟hub里面的资源是无缝连接,可以利用它进行模型的训练,fine-tune,量化,前后处理以及运行等,要用大模型做测试验证或者做产品,它提供全面的工具集API接口

如果要开始coding,基于hugging face平台,Transformers是首先要熟悉和了解的资源库。

图片

2.3 Hugging Face Spaces

https://huggingface.co/spaces

Spaces本质是一个算力平台,从价值体现来看它是一个大模型的展示台,Hugging Face提供的开放平台可以运行跑你自己的应用,可以和github联动,提交后自动构建,提供便利的web ui交互方式,让开发自己的大模型应用变得非常直观和简单 。

大模型是菜肴,但是好不好吃合不合口味你不知道,Spaces提供一个免费厨房,根据你的菜谱自动做给你吃,让你尝一尝,同时也能开源,其他人想吃也可以直接在Spaces里直接尝。

一个非常便利的好处就是你开源了一个工程,其他开发者想要快速直观地看一下效果,Spaces能提供给你这个平台,但是天下没有免费的午餐,免费的空间是有限制的,要更强的服务需要收费。

比如如下腾讯托管的一个开源项目,https://github.com/TencentARC/InstantMesh,它是一个提供2D图片,给你生成3D的多维度的效果,在Spaces上有免费的示例可以测试验证:(左边输入一张图片,会生成右边多个维度的图片以及3D的图片),还有很多其他的LLM模型都有托管工程可以测试 。

图片

以上的比喻和分层均根据自己理解整理,事实上huggingface是个很强大的公司,里面有比以上描述更多的功能,有详细的文档,社群等,需要了解和学习的很多,大模型时代有这样的工具平台,是各位开发者的一大幸事。

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

这篇关于hugging face:大模型时代的github介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1074350

相关文章

Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

《Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)》:本文主要介绍Python基于火山引擎豆包大模型搭建QQ机器人详细的相关资料,包括开通模型、配置APIKEY鉴权和SD... 目录豆包大模型概述开通模型付费安装 SDK 环境配置 API KEY 鉴权Ark 模型接口Prompt

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

性能测试介绍

性能测试是一种测试方法,旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试,可以确定系统是否能够满足预期的性能要求,找出性能瓶颈和潜在的问题,并进行优化和调整。 发现性能瓶颈:性能测试可以帮助发现系统的性能瓶颈,即系统在高负载或高并发情况下可能出现的问题

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费