本文主要是介绍【Semantic Embedding】: LSTM-DSSM模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
论文下载地址:https://arxiv.org/pdf/1412.6629.pdf
其实这几篇论文,DSSM, C-DSSM, LSTM-DSSM 百度一下资料一大堆,不过我还是选择自己去看了一遍,然后做一下笔记,便于更深入的理解。不过看完了论文发现,这几篇文章真的是短小精悍。。。基本都是五六页结束。
这篇文章还是一样的套路,是这对DSSM模型的修改,毕竟全连接网络是最简单的神经网络,替换一下模型就能提升效果,肯定是水文章的首选。
看完这篇文章,总体的感觉就是文章有了之前一系列文章的铺垫之后,写的很随意,图也画的有点丑,但是毕竟是第一篇把lstm引入到信息检索任务中的文章。
直如主题
文章的思路确实和网上大多数的博客写的那样,很简单。有了前面DSSM文章的铺垫,可以直接看图讲解
其实就是把DSSM里的全连接改成里LSTM,而且这里的输入感觉也不需要做word hashing都。直接把每个单词x(i)映射到一个word representation,就是embedding,也就是上图中的l(i)。然后把整个句子送入LSTM,训练LSTM,拿出最后输出的状态y(m),作为潜层语义向量,有了这个最后的语义向量后就和DSSM模型一样里,进行相似度度量,对文档进行排序,softmax计算概率等等。
这篇文章只要对LSTM 和DSSM有一定的了解的话,应该小半小时就能理解整篇文章里,建议想了解的同学直接去看论文。
完
这篇关于【Semantic Embedding】: LSTM-DSSM模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!