【扩散模型从原理到实战】Chapter2 Hugging Face简介

2023-10-18 21:45
文章标签 实战 模型 原理 简介 扩散 face hugging chapter2

本文主要是介绍【扩散模型从原理到实战】Chapter2 Hugging Face简介，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • Hugging Face的核心功能介绍
  • Hugging Face开源库
  • Hugging Face开源库
  • Gradio工具介绍
  • 参考资料

Hugging Face是机器学习从业者协作和交流的平台，成立于2016年，在纽约和巴黎设有办事处，团队成员来自世界各地，远程办公。
致力于让好的机器学习能力可以为所有人使用
Hugging Face的logo：
image.png

Hugging Face的核心功能介绍

Hugging Face的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，用户可以在这里托管自己的模型、数据集，并为自己的模型加入模型卡片以介绍模型的内容和用法

模型卡片
这里以bert-base-uncased为例
image.png
卡片包含了该模型的全部相关信息，名称、分类标签、开源协议以及预印本平台arXiv.org上的论文引用、模型的变体发展、应用和局限、使用方法等

提供Auto Train功能支持用户上传数据集微调模型
image.png

推理API功能
image.png

  1. 在模型页面上直接“运行”模型的输入并得到输出结果
    image.png

  2. 单击模型页面上的“Deploy”按钮，选择“Inference API”来调出示例代码

数据集
image.png
可以使用Hugging Face开源的Datasets中的方法进行加载

Spaces应用功能
助力开发者快速创建和部署一个机器学习应用
SDK支持使用Gradio、Streamlit、Docker和静态HTML
Space应用能获得Hugging Face提供的免费的两核CPU以及16GB内存的服务器
image.png
每个Space应用都有一个可以直接访问的网址，域名格式为用户名-Space应用名.hf.space
举个例子：
由微软认知服务团队创建的名为mm-react的Space应用的网址为
https://microsoft-cognitive-service-mm-react.hf.space
用户个人主页访问：https://hf.co/用户名
举个例子
https://hf.co/microsoft-cognitive-service

克隆某Space应用
通过Space应用的“Duplicate this Space”功能
image.png

克隆之后，可以在该Space应用原有配置的基础上加上自己的配置值，例如使用自己的计算服务器资源、自己的API密钥等
image.png

Hugging Face开源库

Hugging Face的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，用户可以在这里托管自己的模型、数据集，并为自己的模型加入模型卡片以介绍模型的内容和用法

模型卡片
这里以bert-base-uncased为例
image.png
卡片包含了该模型的全部相关信息，名称、分类标签、开源协议以及预印本平台arXiv.org上的论文引用、模型的变体发展、应用和局限、使用方法等

提供Auto Train功能支持用户上传数据集微调模型
image.png

推理API功能
image.png

  1. 在模型页面上直接“运行”模型的输入并得到输出结果
    image.png

  2. 单击模型页面上的“Deploy”按钮，选择“Inference API”来调出示例代码

模型训练时使用的数据集
image.png
可以使用Hugging Face开源的Datasets中的方法进行加载

Spaces功能：助力开发者快速创建和部署一个机器学习应用
SDK支持使用Gradio、Streamlit、Docker和静态HTML
Space应用能获得Hugging Face提供的免费的两核CPU以及16GB内存的服务器
image.png
每个Space应用都有一个可以直接访问的网址，域名格式为用户名-Space应用名.hf.space
举个例子：由微软认知服务团队创建的名为mm-react的Space应用的网址为
https://microsoft-cognitive-service-mm-react.hf.space
用户个人主页访问：https://hf.co/用户名，举个例子，https://hf.co/microsoft-cognitive-service

克隆某Space应用
通过Space应用的“Duplicate this Space”功能
image.png

克隆之后，可以在该Space应用原有配置的基础上加上自己的配置值，例如使用自己的计算服务器资源、自己的API密钥等
image.png

Hugging Face开源库

机器学习库和工具

Transformers
帮助使用者下载和训练SOTA的预训练模型
支持PyTorch、TensorFlow和JAX，并支持框架之间的互操作
模型导出格式支持ONNX和TorchScript等

Datasets
帮助使用者加载各种数据集

Diffusers
操作扩散模型的工具箱
提供功能包括直接使用各种扩散模型完成生成任务、使用各种噪声调度器调节模型

Accelerate
运行PyTorch训练脚本

Optimum
提供了一组性能优化工具

timm
深度学习库，包含图像模型、优化器、调度器以及训练/验证脚本等内容

Tokenizers
适用于研究和生产环境的高性能分词器

Evaluate
使用数十种流行的指标对数据集和模型进行评估

Hugging Face的GitHub组织页面以及“置顶”的开源代码仓库：
image.png

Gradio工具介绍

Gradio是什么
由Hugging Face推出的一个开源的Python库，用于构建机器学习和数据科学演示以及Web应用
帮助研究者快速创建一个交互式应用

安装和运行Gradio

  1. 安装
pip install gradio
  1. 需要构建交互式应用的代码
    app.py，代码内容如下
import gradio as grdef greet(name):return "Hello " + name + "!"demo = gr.Interface(fn=greet, inputs="text", outputs="texts")demo.launch()
  1. 使用gradio命令运行Gradio应用脚本
gradio app.py

结果展示：
image.png

gradio.Interface接口
功能：为任何Python函数提供用户界面
参数介绍：
fn：待创建用户界面的目标函数的名称
inputs：用于输入的组件（如"text" “image"或"audio”）
outputs：用于输出的组件（如"text" “image"或"label”）
inputs和outputs是根据待输入内容而变化的组件

应用部署
在创建Space应用的时候将SDK设置为Gradio，即可实现将使用Gradio构建的应用直接部署到Hugging Face Spaces上
image.png
注意
使用Gradio需要Python 3.7或更高的Python版本，这对python脚本中代码语法提出了要求

参考资料

  1. 《扩散模型从原理到实战》

这篇关于【扩散模型从原理到实战】Chapter2 Hugging Face简介的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/235312。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
深入探索协同过滤：从原理到推荐模块案例

深入探索协同过滤：从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤（UserCF）2. 基于物品的协同过滤（ItemCF）3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代，推荐系统成为连接用户与内容的桥梁。本文聚焦于
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
hdu4407(容斥原理)

hdu4407(容斥原理)

题意：给一串数字1,2，......n，两个操作:1、修改第k个数字，2、查询区间[l,r]中与n互质的数之和。 解题思路：咱一看，像线段树，但是如果用线段树做，那么每个区间一定要记录所有的素因子，这样会超内存。然后我就做不来了。后来看了题解，原来是用容斥原理来做的。还记得这道题目吗？求区间[1,r]中与p互质的数的个数，如果不会的话就先去做那题吧。现在这题是求区间[l,r]中与n互质的数的和
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2