如何使用Hugging Face:对Transformer和pipelines的介绍

2024-02-15 03:20

本文主要是介绍如何使用Hugging Face:对Transformer和pipelines的介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、transformer介绍

众所周知,transformer模型(如GPT-3、LLaMa和ChatGPT)已经彻底改变了人工智能领域。它们不仅被用于自然语言处理,还被应用于计算机视觉、语音处理和其他任务中。Hugging Face是一个以变换器为核心的Python深度学习库。因此,在我们深入了解其工作原理之前,我们将探讨什么是transformer,以及为什么它们能够支持如此强大的模型。

1.递归神经网络Recurrent Neural Networks (RNNs)

在我们继续之前,有必要简要回顾一下序列模型的基础。对于常规数据而言,前馈神经网络(feedforward neural networks)极为有效,但对于序列型数据(如文本、语音或某些视频资料)来说,理解其上下文信息同样重要。

以这个句子为例:“我们走向了村庄,我哥哥戴着一个黑色的渔夫帽,手里还拿着一个装满水的瓶子。”在建立起这些词汇之间的联系之前,我们无法确定谁在拿瓶子,或是谁在陪伴叙述者,或者他穿着什么。这种联系的建立依赖于循环神经网络(RNNs),它们能够保持当前输入的上下文和历史信息。这里的“输入”可以指一个词或一幕电影画面等,但为了泛化讨论,我会统称之为“数据”。通过构建双向神经网络,我们甚至能够保留未来数据的历史信息。

2.梯度消失Vanishing gradients

传统RNN的一个主要问题是梯度消失。当应用反向传播时,我们使用链式法则将任何层与输出层连接(用于计算偏导数)。随着层数的增加,通常在反向传播过程中梯度会变得很小。

由于链式法则包含导数的乘积,它导致许多相关项的梯度变小或消失。即使你不理解任何微积分,这里的关键点是我们的神经网络学习/训练相当慢,因此我们需要确保有最佳的层数。因此,传统的(通常称为普通的)RNN无法包含太多上下文信息。

正是Sepp Hochreiter识别了这个问题,并提出了一种更好的模型,称为长短期记忆(LSTM)。LSTM由于较少受梯度消失问题的影响,能够包含更多上下文信息,并且与传统RNN相比显示出显著的改进。

3.注意力模型

LSTMs 在90年代中期被发现,对那个时代来说是非凡的成就。后来,它们作为一种更简单、更快速的版本得到了改进,GRU(门控循环单元)被引入。然而,鉴于对更大模型的迫切需求,需要能够承载更多上下文信息的更好的模型。在2014/15年,注意力机制被引入,以解决现有模型的局限性。

注意力模型非常简单直观。它们通过为不同的单词分配不同的权重,来关注文本的相关性。

历史视角:大多数文章将2014年视为transformers的起点,但这个故事实际上可以追溯到更早。早在1960年代,Watson和Nadaraya就提出了一种原始形式的注意力模型。

4.什么是transformers🤗?

使用这种注意力机制,谷歌的研究人员发表了一篇标志性的论文,题为《All You Need》。他们利用注意力机制创建了一种被称为transformers的新模型。虽然在这里无法详细介绍其架构,但我们可以认识到它的强大能力。transformers具有许多优势,比如:

  1. 并行化
  2. 长距离上下文能力
  3. 可扩展性

transformers是一种依赖于“注意力机制”的深度学习架构,它允许解码器以灵活的方式使用输入序列中最相关的部分。transformers被用于大型语言模型,因为它们不像其他神经结构那样需要那么多的训练时间。

二、Hugging Face介绍

正如我们在开头提到的,Hugging Face是一个以transformers为中心的深度学习库。这个表情符号的使用和它的命名可能会让人感到困惑,这是可以理解的。我的第一印象是:“这是一个机器学习库还是一本漫画书?”但是,这个库的强大不容小觑。它在不断发展,并在最近的D轮融资中成功筹集了2.35亿美元。根据2023年Stackoverflow调查,Hugging Face是“其他”类别中第二受欢迎的技术。

那么,让我们来探索一下这个库的魔力

transformers库

Hugging Face围绕transformers库展开。transformers库背后的核心理念是:

1.尽可能简单快速地使用

2.提供接近原始模型性能的最先进模型

1.安装
pip install transformers
2.Hugging Face pipelines

我们调用pipelines来对不同的任务执行推理。这些任务不仅仅局限于自然语言处理,还支持计算机视觉、强化学习和其他领域。

让我们从翻译pipelines开始。首先,我们导入pipelines模块。

from transformers import pipeline

为了使用特定的pipelines,比如英语到汉语,我们需要指定它。

chineseTranslator = pipeline("translation_en_to_zh")

现在我们可以用它把一个给定的英语句子翻译成中文。例如:

# 尼采的名言
nietzscheQuote = "Our vanity is hardest to wound precisely when our pride has just been wounded."# 执行翻译
translated_text = chineseTranslator(nietzscheQuote)print(translated_text)

它将下载模型(大多数模型的大小在 GB 左右) ,由于我们没有指定模型,因此它将默认为 T5。如果我们想指定一个特定的模型,我们可以这样做:

<model> = pipeline(<pipeline name>,model=<model name>
chineseTranslatorSmall = pipeline("translation_en_to_zh",model="t5-small")

这只是冰山一角。截至2023年9月,Hugging Face已经支持超过30种任务,而且这个列表还将继续增长,这要归功于社区的贡献。

这篇关于如何使用Hugging Face:对Transformer和pipelines的介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/710321

相关文章

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

C#中Guid类使用小结

《C#中Guid类使用小结》本文主要介绍了C#中Guid类用于生成和操作128位的唯一标识符,用于数据库主键及分布式系统,支持通过NewGuid、Parse等方法生成,感兴趣的可以了解一下... 目录前言一、什么是 Guid二、生成 Guid1. 使用 Guid.NewGuid() 方法2. 从字符串创建

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客