本文主要是介绍实践:用大模型开发一款智能应用丨“悟道之巅”公开课实录(3),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
扫描图上二维码或点击原文文末“阅读原文”即可参赛!
如果你错过了上一波深度学习引发的NLP范式转换,不要再错过这一波超大预训练模型的崛起。
近日,“悟道”核心团队推出首档公开课,公开课已全部上线,手把手帮助中国开发者理解并应用“悟道”,从而进一步挖掘“悟道”的潜力,开发自己的智能应用。
通过“悟道”公开课,开发者们将与预训练模型这一人工智能领域最重要的趋势保持同步,更有125万+“悟道之巅”比赛奖金可以拿(比赛官网)。
第一讲视频点此观看
第二讲视频点此观看
第三讲视频点此观看
第四讲视频点此观看
第五讲视频点此观看
本次课程可以看做是面向所有人的大规模预训练模型(下文简称“大模型”)科普课,从大模型与传统机器学习模型的区别、机器学习范式的变化和 GPT-3 讲起,进一步介绍悟道模型及主要技术、悟道之巅大赛参与方式以及悟道 API 使用说明等等。
本文为系列公开课第三讲干货整理,主讲人为智谱AI 的后端工程师陕杰才,分享提纲如下图所示:
第一讲干货见:一文入门大规模预训练语言模型丨“悟道之巅”公开课干货(1);
第二讲干货见:入门大模型后,如何优化其输出结果?丨“悟道之巅”公开课干货(2)
一、应用介绍
首先,这个 demo 应用的界面比较简单,即一问一答的形式,这个应用是基于文本生成的接口,并结合了 inverse prompting 和 beam search 的 trick,完成的问答应用。
该应用是基于悟道大模型 transformer-xl 的生成能力改造的问答应用,从生成单句的api到准确回答问题,Transformers 具有长期学习依赖的能力,但是,在语言建模设置中,受到固定长度上下文的限制,而 Transformers-XL 作为一 种新神经网络架构,采用了相对位置编码和片段递归的思想,在很大程度上,可以解决长文本依赖的问题。因此,transformer-xl 也可用于新闻生成、智能写作,还有作诗作词等。
上图即线上应用的展示,该图中,线上的问题默认的是:请问男朋友买鸭脖自己全吃的没给我,应该分手吗?后文也会引用到这个例子,应用网址点此进入,各位有兴趣可以体验一下。
这篇关于实践:用大模型开发一款智能应用丨“悟道之巅”公开课实录(3)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!