【Reading List】【20190510】预训练（pre-trained）语言模型

本文主要是介绍【Reading List】【20190510】预训练（pre-trained）语言模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

RNN，seq2seq，Attention：

https://www.leiphone.com/news/201709/8tDpwklrKubaecTa.html

图解transformer ：

https://blog.csdn.net/qq_41664845/article/details/84969266

Attentinon：

https://blog.csdn.net/malefactor/article/details/50550211

ELMO、GPT、BERT对比：

https://www.cnblogs.com/robert-dlut/p/9824346.html

GPT

     官网：https://openai.com/blog/language-unsupervised/

     解析：https://blog.csdn.net/Magical_Bubble/article/details/89497002

GPT2

    官网：https://openai.com/blog/better-language-models/#update

    解析：https://blog.csdn.net/Magical_Bubble/article/details/89499275

    官方资源：https://github.com/openai/gpt-2

                      https://github.com/openai/gpt-2-output-dataset

     git：https://github.com/oldyang95/GPT2-Models/

Tensorflow_GPU与Cuda对应关系：

https://blog.csdn.net/u011748542/article/details/85090268

论文：

(GPT)Improving Language Understanding by Generative Pre-Training

(GPT-2)Language Models are Unsupervised Multitask Learners

Attention Is All You Need

分享：Deep Graph Convolutional Encoders for Structured Data to Text Generation

这篇关于【Reading List】【20190510】预训练（pre-trained）语言模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---