ChatGPT魔法背后的原理:如何做到词语接龙式输出?

2024-06-15 15:12

本文主要是介绍ChatGPT魔法背后的原理:如何做到词语接龙式输出?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

介绍

我们都知道 ChatGPT 是 AIGC 工具,其实就是生成式人工智能。大家有没有想过这些问题 🤔️:

1、我们输入一段话,就可以看见它*噼里啪啦的一顿输出*,那么它的原理到底是什么?

2、到底它是怎么锁定这些文字,然后把相应的答案输出给我们的?

当我第一次面对这些问题时,我最开始并没有多想,就觉得它很牛就对了 🐮!

图片

带着这些疑问,我们一起开始今天的分享。

原理

在分享之前,我就了解到最开始学习提示词的那一波人真的太辛苦了,资料很稀缺,不像今天一抓一大把,我和一位提示词大佬沟通过,了解到,他们最开始都是从学习原理和概念开始,一句一句提问,一点一滴地探索,时常带着疑问思考它是怎么做到。

其实这也是最好的途径,这样有助于我们了解原理,而不会在遇到各色各样的问题时手足无措。也可以在后期,帮助我们去理解,去编写更加结构化的提示词,来应对复杂的任务

图片

通过这次学习,我们基本上可以了解到以下几点:

  • ChatGPT 是怎么理解我们输入内容的含义的?
  • ChatGPT 回答的时候,它是怎么做到词语接龙式的涌现?

我这边通过观看视频和资料,总结并通俗化的理解了一下,希望对大家有所帮助:

首先,计算机如何可以理解我们提供文字的意思?是需要经历两步。第一步叫做向量化,第二步叫做信息压缩与特征提取

向量化是什么? 看起来有点蒙圈,其实向量化就是将文字、图像或其他数据类型转化为数值形式的一种方法,通常是转化为一串数字,即向量。这个向量可以代表数据的某种特性或信息。

在这里插入图片描述

如例:你有一个水果清单:苹果,香蕉和橙子。要让计算机理解这些水果,你可以给每种水果分配一个数字。例如,苹果是[1,0,0],香蕉是[0,1,0],橙子是[0,0,1]。这样,当你告诉计算机“苹果”,它会知道你是指**[1,0,0]**这个向量。这就是一种简单的向量化。

另外苹果是大的,小的,还是熟的,烂的,这些描述形状,成熟度各个维度的特征词,都会影响向量的长度和不同。说白了,维度越多,转化的向量对与这个事物表述的准确性越高。

为什么要向量化呢? 向量化的目的不仅为了电脑方便识别(数字更容易识别)。另外,向量化通过机器的不断的试错再试错地训练(术语叫 “信息压缩与特征提取”), 这样它可以结合大量的语料库将不同的词语放在巨大向量空间中合适的坐标上,特征越相似,坐标的距离越近。

那是怎么不断试错的呢? 这样说,现在我们要训练 10000 个字的数据集(书籍、新闻等等数据集),那如何让这个 10000 个字放在合适的坐标中呢,那就是结合每个词与词进行向量的计算,术语叫损失函数,来判断这个词是否比较合适的放在一起。这样不断计算,不断试错,和不断纠正,最终 10000 个字就放在了合适的位置。

有案例吗? 有,比如“苹”和“果”, 按照常识应该是放在一起的,那是因为结合了这个 10000 个数据集进行计算,"苹"和"果"经常出现在一起,所以他们应该放在一起。而"苹"和 “名” 在这个数据集中几乎不存在靠近的机会,所以不适合在向量空间中存在相近的位置。其实,这个巨大的向量空间中,我们也看到了现实生活中的一些规律,俗话说 “物以类聚,人以群分”,这句话则是对这个规则的一种很好的诠释。

在这里插入图片描述

换个例子,因为我们都是追逐时代潮流,想要学习 AI 来赋能工作、自媒体、等等赛道的弄潮儿,所以你们在看我的文章!从某个角度,我们在大千世界的向量空间中,因为学习 AI 这个共同目标出发,基于这个维度,我们的坐标值是比较接近的。

现在词都在正确的位置了,那怎么词语接龙呢?这时候就需要请出 Google TransFormer“自注意力机制”,它是现在通用大模型的鼻祖,这边不过多解释,感兴趣的朋友可以了解下。回到正题,到底怎么词语接龙,举个例子,前半句的提问是**“苹果的创始人是乔布斯,那么苹果指的是?”** ,现在答案有两种,一种是**“美国科技巨头公司”。另外一种是“水果”**。

到底是哪种?这时,机器提取句子里的关键词 “苹果”、“创始人”、“乔布斯”后,先在整个向量空间中进行分析拿到可能相近的两个结果“苹果”、“美国科技巨头公司”与可能的结果进行向量相乘并再次训练,得出哪个答案的权重更高,通过不断试错,最终答案就得出了“美国科技巨头公司”

在这里插入图片描述

所以到底什么是词语接龙式涌现的原因呢? 总结一句话,就是结合已经出现的字,把接下来可能的答案不断进行计算、训练、试错和自我纠正,得出概率最高的那个词后,再次拼起来后,按照同样的方式再继续寻找下一次词。

另外,在学习过程中有一句话让我影响很深刻,ChatGPT 本身就是一个基于 Transformer 为基础的语言模型,被制作出来,并不是为了解决实际问题,而是为了把话说漂亮,而怎么把话说漂亮,就是基于它看了多少本书了。

我们都知道 GPT3.5 看了 1750 亿数据量 的书籍,所以用 GPT3.5 时,细心的小伙伴会发现,有些场景虽然说的很有道理,但实际结果是不对的。但是用 GPT4.0 的时候,发现说的又对了,那是因为 GPT4.0 是 1.8 万亿 的数据量。所以大家知道为啥有时候 GPT4.0 的回答更实用了吧?那是因为他们脑袋瓜子不一样。

图片

我平时经常分享 AI 资讯时,看到未来 GPT5 的数据集将会是 GPT4.0 的 100 倍,真的不敢想象到底它的天花板在哪里!!!学会 ChatGPT,已经势在必行。

总结

最后,我想说一句话也算是自我勉励,“学习新知识,系统学习的方式才是正确法则,如何系统学习,了解基础是第一步,切记不要浮躁”。

小小分享,希望借助自己微不足道的力量帮助到大家,也欢迎大家和我一起共同探讨和交流!💪

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

这篇关于ChatGPT魔法背后的原理:如何做到词语接龙式输出?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1063811

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

hdu4407(容斥原理)

题意:给一串数字1,2,......n,两个操作:1、修改第k个数字,2、查询区间[l,r]中与n互质的数之和。 解题思路:咱一看,像线段树,但是如果用线段树做,那么每个区间一定要记录所有的素因子,这样会超内存。然后我就做不来了。后来看了题解,原来是用容斥原理来做的。还记得这道题目吗?求区间[1,r]中与p互质的数的个数,如果不会的话就先去做那题吧。现在这题是求区间[l,r]中与n互质的数的和

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti