如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?

2023-12-21 10:52

本文主要是介绍如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

入门GPT

首先说第一个问题:如何入门GPT模型?

最直接的方式当然是去阅读官方的论文。GPT模型从2018年的GPT-1到现在的GPT-4已经迭代了好几个版本,通过官方团队发表的论文是最能准确理清其发展脉络的途径,其中包括GPT模型本身和一些介绍关键技术的文章,比如训练方法RLHF这些。下面列出一些主要的文章。

第一手资料:论文

  • GPT-1:language_understanding_paper.pdf (openai.com)
  • GPT-2:language_models_are_unsupervised_multitask_learners.pdf (openai.com)
  • GPT-3:Language Models are Few-Shot Learners (arxiv.org)
  • GPT-4:GPT-4 Technical Report(openai.com)
  • RLHF:Augmenting Reinforcement Learning with Human Feedback
  • InstructGPT:Training language models to follow instructions with human feedback


 

技术解读

考虑到不是每个人都有足够的基础来阅读这些专业的论文,我也推荐一些做技术解读的博客和视频,这些技术解读通过比较通俗的方式梳理这些技术和模型的发展,对于新手来说,是比较不错的学习资源。

比如下面这张被很多人引用的图片,就是来自于这篇博文:拆解追溯 GPT-3.5 各项能力的起源 

还有一些视频解读,可以看看李沐老师和李宏毅老师的,专门有对GPT系列技术的讲解。

跟踪进展

关于第二个问题:如何快速跟上大语言模型的进展?

这方面的网络资源简直太多了,有很多人整理、跟踪这些最新技术进展,这些资源大多数在网络上都能找到。

1、一般来说,跟踪最新的论文成果,可以通过arXiv,或paper digest这样的网站,比如Paper Digest上有一个更新最新的ChatGPT相关的paper的项目:Paper Digest: Recent Papers on ChatGPT – Paper Digest

2、还有一个重要的资源聚集的网站就是GitHub。

秉承着“授人以鱼不如授人以渔”的思想,这里告诉大家一个技巧,凡是你感兴趣的东西,不管什么领域,到GitHub上去搜关键词“awesome xxx”,你都能发现很多非常有用的资源和学习资料。

比如搜“awesome chatgpt”,搜到的项目都是整理各种chatGPT相关的资料的,这些项目多则大几万的stars,少则也有几千。

这些项目里面有各种各样的资源汇总,比如详尽的学习资料、paper list、行业的发展动态、各公司的产品、开源项目、开发工具、技术解读的博文列表等等。只有你想不到的,没有他们不总结的,要不然怎么能叫curated list呢。

  • 大语言模型资源聚合:Awesome-LLM。

3、关于大语言模型,还有一个项目,主要是跟进各大AI公司或研究团队的进展,重点比较这些模型的参数和对应产品的特性。(之前还专门有一个表格总结中国的语言模型,最近不知为什么被删除了。)

图中有链接

给你们推荐个国内的地址 https://gpt.91chat-ai.cn?share=csdn,这还是非常方便的。感兴趣的可以关注一下 ↓ ↓ ↓

2023超🔥的AI大模型公开课👉大模型资料包免费领!,找客服免费领取

专业书籍

最后,如果你有更远大的抱负,或者想在这方面做更深入的研究,那我建议还是要夯实自己的专业基础。这种就没有太多的捷径可以走了,只能慢慢的去啃一些专业书籍,包括机器学习、统计学以及深度学习这些方面的。

像是比较经典的有《统计学习方法》、《Pattern Recognition and Machine Learning》、《 Deep Learning: Adaptive Computation and Machine Learning series》(深度学习)、以及《Dive into deep learning》(深度学习实战)等。

再附上一些我的深度学习方面的电子书单,大家可以参考一下:

除了上面提到这几本比较经典的之外,现在人工智能、深度学习方面的特定领域的书籍也有很多,不像我当年刚学的那会,当时深度学习刚刚爆发式发展,几乎没有这方面书籍完整而又系统的介绍人工智能某一领域(比如自然语言处理、计算机视觉等等)的专业知识,特别是中文的资料少之又少,大多数是一些零零散散的博客,而想要深入的学习和了解专业领域的进展,只能自己读第一手paper、看英文资料,啃起来很费劲。不像现在有这么多系统的专业书籍。

比如最近看了一本《深度强化学习图解》,由清华大学出版社出版的。这本书的主要内容关于深度强化学习(Deep Reinforcement Learning,DRL),但又不是单独介绍DL。也非常适合对人工智能、深度学习算法(包括自然语言大模型、计算机视觉领域等)感兴趣的同学阅读。

书的内容大致可以分三个部分:强化学习的入门、行为与人类似的DRL智能体和在复杂情况下应用DRL。整体看下来,这本书内容很权威,也非常实用。当然,还有最重要的一大亮点就是易学。通过生动的图解和趣味性的文字,深入浅出地讲解了深度强化学习理论。同时有大量配套的python代码,配合实际案例和应用,指导读者在实践中学习,从而逐渐深化对深度强化学习的理解,将新的方法、理论和思想融入到自己的研究中。

LLM 不是人工智能的起点,也不会是人工智能的终点,更符合人类行为能力的 AGI 才是所有 AI 从业者和爱好者最乐于看到和期待的。虽然 AGI 到目前为止还是一个相对模糊的概念,也没有人能确切的知道它将在何时出现。但是大模型的发展和它们所表现出来的能力已经让我们看到了 AGI 的影子,它或许就隐藏在这些大模型的背后,偶尔向我们闪现,预示着它终将到来。

以上。如有帮助,希望点个赞支持一下。

对了,给你们推荐个国内的地址 https://gpt.91chat-ai.cn?share=csdn

这篇关于如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/519710

相关文章

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

mysql如何查看当前连接数

《mysql如何查看当前连接数》:本文主要介绍mysql如何查看当前连接数问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql查看当前连接数查看mysql数据库允许最大连接数总结mysql查看当前连接数查看当前连接数SHOW STATUS LIKE

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整