本文主要是介绍论文笔记:Label Efficient Learning of Transferable Representations across Domains and Tasks,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一个使用了对抗网络和semantic transfer的迁移学习网络,用于图片分类任务。
整个网络的目标函数:
1 . 数据分为源域S的标签数据;目标域T的无标签数据;目标域T的有标签数据。
2. 蓝色的网络是基本的分类学习网络,使用S数据学习得到;
3. 绿色网络是针对域T域数据学习网络,初始化为S网络的参数;
4. 对抗网络:使用Multi-layer domain adversarial loss。D(.)用来区别数据来源于S还是T的无标签,E()是一个embedding,用来使得S的数据映射到T中,是的D无法区别。网络不仅是下一层使用上一层的数据来来源,同时使用了S或T相应的E。loss为:
5. 语义相似网络:用来融合T的标签数据和T的无标签数据,其实就是融合T的标签数据和映射后的S数据,由于都有标签,因此方便相似对的映射。loss为:
6. 学习后相当于S数据和T的有标签数据都映射到了T的无标签数据空间。从而让分类网络的参数适合于无标签数据。因此对于无标签数据也可以很好的学习。
这篇关于论文笔记:Label Efficient Learning of Transferable Representations across Domains and Tasks的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!