本文主要是介绍2022最新版-李宏毅机器学习深度学习课程-P49 GPT的野望，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
GPT→类似于Transformer Encoder
训练任务：Predict Next Token
使用MASK-attention，不断预测“下一个token”。
可以用GPT生成文章。
How to use GPT?
给出描述和例子
给出前半段，补上后半段
In-context Learning(no GD)
结果
目前看起来状况是,有些任务它还真的学会了,举例来说2这个加减法,你给它一个数字加另外一个数字,它真的可以得到,正确的两个数字加起来的结果,但是有些任务,它可能怎麼学都学不会,譬如说一些跟逻辑推理有关的任务,它的结果就非常非常地惨。
Self-supervesed Learning Beyond Text
CV
Image - SimCLR
Image - BYOL
Speech
训练：
语音也可以做填空题,就把一段声音讯号盖起来,叫机器去猜；
语音也可以预测接下来会出现的内容
Speech GLUE - SUPERB
李宏毅——语音的基准语料库。
这篇关于2022最新版-李宏毅机器学习深度学习课程-P49 GPT的野望的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
