如何使用Hugging Face:对Transformer和pipelines的介绍

2024-02-15 03:20

本文主要是介绍如何使用Hugging Face:对Transformer和pipelines的介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、transformer介绍

众所周知,transformer模型(如GPT-3、LLaMa和ChatGPT)已经彻底改变了人工智能领域。它们不仅被用于自然语言处理,还被应用于计算机视觉、语音处理和其他任务中。Hugging Face是一个以变换器为核心的Python深度学习库。因此,在我们深入了解其工作原理之前,我们将探讨什么是transformer,以及为什么它们能够支持如此强大的模型。

1.递归神经网络Recurrent Neural Networks (RNNs)

在我们继续之前,有必要简要回顾一下序列模型的基础。对于常规数据而言,前馈神经网络(feedforward neural networks)极为有效,但对于序列型数据(如文本、语音或某些视频资料)来说,理解其上下文信息同样重要。

以这个句子为例:“我们走向了村庄,我哥哥戴着一个黑色的渔夫帽,手里还拿着一个装满水的瓶子。”在建立起这些词汇之间的联系之前,我们无法确定谁在拿瓶子,或是谁在陪伴叙述者,或者他穿着什么。这种联系的建立依赖于循环神经网络(RNNs),它们能够保持当前输入的上下文和历史信息。这里的“输入”可以指一个词或一幕电影画面等,但为了泛化讨论,我会统称之为“数据”。通过构建双向神经网络,我们甚至能够保留未来数据的历史信息。

2.梯度消失Vanishing gradients

传统RNN的一个主要问题是梯度消失。当应用反向传播时,我们使用链式法则将任何层与输出层连接(用于计算偏导数)。随着层数的增加,通常在反向传播过程中梯度会变得很小。

由于链式法则包含导数的乘积,它导致许多相关项的梯度变小或消失。即使你不理解任何微积分,这里的关键点是我们的神经网络学习/训练相当慢,因此我们需要确保有最佳的层数。因此,传统的(通常称为普通的)RNN无法包含太多上下文信息。

正是Sepp Hochreiter识别了这个问题,并提出了一种更好的模型,称为长短期记忆(LSTM)。LSTM由于较少受梯度消失问题的影响,能够包含更多上下文信息,并且与传统RNN相比显示出显著的改进。

3.注意力模型

LSTMs 在90年代中期被发现,对那个时代来说是非凡的成就。后来,它们作为一种更简单、更快速的版本得到了改进,GRU(门控循环单元)被引入。然而,鉴于对更大模型的迫切需求,需要能够承载更多上下文信息的更好的模型。在2014/15年,注意力机制被引入,以解决现有模型的局限性。

注意力模型非常简单直观。它们通过为不同的单词分配不同的权重,来关注文本的相关性。

历史视角:大多数文章将2014年视为transformers的起点,但这个故事实际上可以追溯到更早。早在1960年代,Watson和Nadaraya就提出了一种原始形式的注意力模型。

4.什么是transformers🤗?

使用这种注意力机制,谷歌的研究人员发表了一篇标志性的论文,题为《All You Need》。他们利用注意力机制创建了一种被称为transformers的新模型。虽然在这里无法详细介绍其架构,但我们可以认识到它的强大能力。transformers具有许多优势,比如:

  1. 并行化
  2. 长距离上下文能力
  3. 可扩展性

transformers是一种依赖于“注意力机制”的深度学习架构,它允许解码器以灵活的方式使用输入序列中最相关的部分。transformers被用于大型语言模型,因为它们不像其他神经结构那样需要那么多的训练时间。

二、Hugging Face介绍

正如我们在开头提到的,Hugging Face是一个以transformers为中心的深度学习库。这个表情符号的使用和它的命名可能会让人感到困惑,这是可以理解的。我的第一印象是:“这是一个机器学习库还是一本漫画书?”但是,这个库的强大不容小觑。它在不断发展,并在最近的D轮融资中成功筹集了2.35亿美元。根据2023年Stackoverflow调查,Hugging Face是“其他”类别中第二受欢迎的技术。

那么,让我们来探索一下这个库的魔力

transformers库

Hugging Face围绕transformers库展开。transformers库背后的核心理念是:

1.尽可能简单快速地使用

2.提供接近原始模型性能的最先进模型

1.安装
pip install transformers
2.Hugging Face pipelines

我们调用pipelines来对不同的任务执行推理。这些任务不仅仅局限于自然语言处理,还支持计算机视觉、强化学习和其他领域。

让我们从翻译pipelines开始。首先,我们导入pipelines模块。

from transformers import pipeline

为了使用特定的pipelines,比如英语到汉语,我们需要指定它。

chineseTranslator = pipeline("translation_en_to_zh")

现在我们可以用它把一个给定的英语句子翻译成中文。例如:

# 尼采的名言
nietzscheQuote = "Our vanity is hardest to wound precisely when our pride has just been wounded."# 执行翻译
translated_text = chineseTranslator(nietzscheQuote)print(translated_text)

它将下载模型(大多数模型的大小在 GB 左右) ,由于我们没有指定模型,因此它将默认为 T5。如果我们想指定一个特定的模型,我们可以这样做:

<model> = pipeline(<pipeline name>,model=<model name>
chineseTranslatorSmall = pipeline("translation_en_to_zh",model="t5-small")

这只是冰山一角。截至2023年9月,Hugging Face已经支持超过30种任务,而且这个列表还将继续增长,这要归功于社区的贡献。

这篇关于如何使用Hugging Face:对Transformer和pipelines的介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/710321

相关文章

postgresql使用UUID函数的方法

《postgresql使用UUID函数的方法》本文给大家介绍postgresql使用UUID函数的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录PostgreSQL有两种生成uuid的方法。可以先通过sql查看是否已安装扩展函数,和可以安装的扩展函数

如何使用Lombok进行spring 注入

《如何使用Lombok进行spring注入》本文介绍如何用Lombok简化Spring注入,推荐优先使用setter注入,通过注解自动生成getter/setter及构造器,减少冗余代码,提升开发效... Lombok为了开发环境简化代码,好处不用多说。spring 注入方式为2种,构造器注入和setter

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

使用zip4j实现Java中的ZIP文件加密压缩的操作方法

《使用zip4j实现Java中的ZIP文件加密压缩的操作方法》本文介绍如何通过Maven集成zip4j1.3.2库创建带密码保护的ZIP文件,涵盖依赖配置、代码示例及加密原理,确保数据安全性,感兴趣的... 目录1. zip4j库介绍和版本1.1 zip4j库概述1.2 zip4j的版本演变1.3 zip4

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

一文详解如何使用Java获取PDF页面信息

《一文详解如何使用Java获取PDF页面信息》了解PDF页面属性是我们在处理文档、内容提取、打印设置或页面重组等任务时不可或缺的一环,下面我们就来看看如何使用Java语言获取这些信息吧... 目录引言一、安装和引入PDF处理库引入依赖二、获取 PDF 页数三、获取页面尺寸(宽高)四、获取页面旋转角度五、判断

C++中assign函数的使用

《C++中assign函数的使用》在C++标准模板库中,std::list等容器都提供了assign成员函数,它比操作符更灵活,支持多种初始化方式,下面就来介绍一下assign的用法,具有一定的参考价... 目录​1.assign的基本功能​​语法​2. 具体用法示例​​​(1) 填充n个相同值​​(2)

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定