如何使用Hugging Face:对Transformer和pipelines的介绍

2024-02-15 03:20

本文主要是介绍如何使用Hugging Face:对Transformer和pipelines的介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、transformer介绍

众所周知,transformer模型(如GPT-3、LLaMa和ChatGPT)已经彻底改变了人工智能领域。它们不仅被用于自然语言处理,还被应用于计算机视觉、语音处理和其他任务中。Hugging Face是一个以变换器为核心的Python深度学习库。因此,在我们深入了解其工作原理之前,我们将探讨什么是transformer,以及为什么它们能够支持如此强大的模型。

1.递归神经网络Recurrent Neural Networks (RNNs)

在我们继续之前,有必要简要回顾一下序列模型的基础。对于常规数据而言,前馈神经网络(feedforward neural networks)极为有效,但对于序列型数据(如文本、语音或某些视频资料)来说,理解其上下文信息同样重要。

以这个句子为例:“我们走向了村庄,我哥哥戴着一个黑色的渔夫帽,手里还拿着一个装满水的瓶子。”在建立起这些词汇之间的联系之前,我们无法确定谁在拿瓶子,或是谁在陪伴叙述者,或者他穿着什么。这种联系的建立依赖于循环神经网络(RNNs),它们能够保持当前输入的上下文和历史信息。这里的“输入”可以指一个词或一幕电影画面等,但为了泛化讨论,我会统称之为“数据”。通过构建双向神经网络,我们甚至能够保留未来数据的历史信息。

2.梯度消失Vanishing gradients

传统RNN的一个主要问题是梯度消失。当应用反向传播时,我们使用链式法则将任何层与输出层连接(用于计算偏导数)。随着层数的增加,通常在反向传播过程中梯度会变得很小。

由于链式法则包含导数的乘积,它导致许多相关项的梯度变小或消失。即使你不理解任何微积分,这里的关键点是我们的神经网络学习/训练相当慢,因此我们需要确保有最佳的层数。因此,传统的(通常称为普通的)RNN无法包含太多上下文信息。

正是Sepp Hochreiter识别了这个问题,并提出了一种更好的模型,称为长短期记忆(LSTM)。LSTM由于较少受梯度消失问题的影响,能够包含更多上下文信息,并且与传统RNN相比显示出显著的改进。

3.注意力模型

LSTMs 在90年代中期被发现,对那个时代来说是非凡的成就。后来,它们作为一种更简单、更快速的版本得到了改进,GRU(门控循环单元)被引入。然而,鉴于对更大模型的迫切需求,需要能够承载更多上下文信息的更好的模型。在2014/15年,注意力机制被引入,以解决现有模型的局限性。

注意力模型非常简单直观。它们通过为不同的单词分配不同的权重,来关注文本的相关性。

历史视角:大多数文章将2014年视为transformers的起点,但这个故事实际上可以追溯到更早。早在1960年代,Watson和Nadaraya就提出了一种原始形式的注意力模型。

4.什么是transformers🤗?

使用这种注意力机制,谷歌的研究人员发表了一篇标志性的论文,题为《All You Need》。他们利用注意力机制创建了一种被称为transformers的新模型。虽然在这里无法详细介绍其架构,但我们可以认识到它的强大能力。transformers具有许多优势,比如:

  1. 并行化
  2. 长距离上下文能力
  3. 可扩展性

transformers是一种依赖于“注意力机制”的深度学习架构,它允许解码器以灵活的方式使用输入序列中最相关的部分。transformers被用于大型语言模型,因为它们不像其他神经结构那样需要那么多的训练时间。

二、Hugging Face介绍

正如我们在开头提到的,Hugging Face是一个以transformers为中心的深度学习库。这个表情符号的使用和它的命名可能会让人感到困惑,这是可以理解的。我的第一印象是:“这是一个机器学习库还是一本漫画书?”但是,这个库的强大不容小觑。它在不断发展,并在最近的D轮融资中成功筹集了2.35亿美元。根据2023年Stackoverflow调查,Hugging Face是“其他”类别中第二受欢迎的技术。

那么,让我们来探索一下这个库的魔力

transformers库

Hugging Face围绕transformers库展开。transformers库背后的核心理念是:

1.尽可能简单快速地使用

2.提供接近原始模型性能的最先进模型

1.安装
pip install transformers
2.Hugging Face pipelines

我们调用pipelines来对不同的任务执行推理。这些任务不仅仅局限于自然语言处理,还支持计算机视觉、强化学习和其他领域。

让我们从翻译pipelines开始。首先,我们导入pipelines模块。

from transformers import pipeline

为了使用特定的pipelines,比如英语到汉语,我们需要指定它。

chineseTranslator = pipeline("translation_en_to_zh")

现在我们可以用它把一个给定的英语句子翻译成中文。例如:

# 尼采的名言
nietzscheQuote = "Our vanity is hardest to wound precisely when our pride has just been wounded."# 执行翻译
translated_text = chineseTranslator(nietzscheQuote)print(translated_text)

它将下载模型(大多数模型的大小在 GB 左右) ,由于我们没有指定模型,因此它将默认为 T5。如果我们想指定一个特定的模型,我们可以这样做:

<model> = pipeline(<pipeline name>,model=<model name>
chineseTranslatorSmall = pipeline("translation_en_to_zh",model="t5-small")

这只是冰山一角。截至2023年9月,Hugging Face已经支持超过30种任务,而且这个列表还将继续增长,这要归功于社区的贡献。

这篇关于如何使用Hugging Face:对Transformer和pipelines的介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/710321

相关文章

性能测试介绍

性能测试是一种测试方法,旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试,可以确定系统是否能够满足预期的性能要求,找出性能瓶颈和潜在的问题,并进行优化和调整。 发现性能瓶颈:性能测试可以帮助发现系统的性能瓶颈,即系统在高负载或高并发情况下可能出现的问题

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}