本文主要是介绍chatGPT底层原理是什么，为什么chatGPT效果这么好？三万字长文深度剖析-下，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
到chatGPT内部一探究竟
好的，现在我们终于可以讨论ChatGPT的内部结构了。最终它是一个巨大的神经网络——目前是一个所谓的GPT-3网络版本，拥有1750亿个权重。在许多方面，这是一个与我们讨论过的其他神经网络非常相似的神经网络。但它是一个特别为处理语言而设置的神经网络。它最显著的特点是一块名为“transformer”的神经网络架构。
在我们上面讨论的第一个神经网络中，任何给定层上的每个神经元基本上都与前一层上的每个神经元连接（至少具有一定的权重）。但是，如果数据具有特定的、已知的结构，这种全连接网络可能是连接过于紧密的。例如，在处理图像的早期阶段，使用卷积神经网络（“convnets”）是很典型的，其中神经元实际上是按照与图像中的像素相似的网格布局的——并且只与网格上附近的神经元连接。
transformers的想法是为构成文本的token序列做至少有点类似于这样的处理。但与其只定义序列中可以有连接的固定区域不同，transformers引入了“attention”（注意力）的概念——以及更关注序列中某些部分而不是其他部分的想法。也许有一天，可以通过开始一个通用的神经网络并通过训练进行所有定制来实现有意义。但至少截至目前，在实践中似乎至关重要的是“模块化”事物——就像transformers所做的那样，可能也像我们的大脑所做的那样。
好的，那么ChatGPT（或者更确切地说，它是基于GPT-3网络）实际上做了什么呢？回想一下，它的整体目标是基于它所接受的训练
这篇关于chatGPT底层原理是什么，为什么chatGPT效果这么好？三万字长文深度剖析-下的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
