首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
revisit专题
Revisit Knowledge Distillation: a Teacher-free Framework
Observations 通过几组实验观察到 反转Knowledge Distillation(KD)即利用student来guide teacher的话,teacher的性能依然可以得到提升用一个比student还差的teacher来guide student的话,student的性能依然可以得到提升 因此作者得到以下观点 KD只是一种可学习的label smoothing regula
阅读更多...
Revisit Recommender System in the Permutation Prospective
总结 提出permutation概念,rnn做rank 细节 user emb和item emb 考虑稀疏特征+稠密特征 permutation-matching offline: 2个模型,分别预测ctr以及next score(是否继续阅览),不共享参数的dnn online: 改进的beam search permutation-rank offline: bi-lstm + ml
阅读更多...