explanation专题
An Intuitive Explanation of Convolutional Neural Networks
CNN&RELU&POOL 感觉没有比这篇文章讲的更详细了：https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/ What are Convolutional Neural Networks and why are they important? Convolutional Neural Networks (Con
![[阅读笔记15][Orca]Progressive Learning from Complex Explanation Traces of GPT-4](https://img-blog.csdnimg.cn/direct/c78e94ba2acf40b1ba5908fab310f097.png)
[阅读笔记15][Orca]Progressive Learning from Complex Explanation Traces of GPT-4
接下来是微软的Orca这篇论文，23年6月挂到了arxiv上。 目前利用大模型输出来训练小模型的研究都是在模仿，它们倾向于学习大模型的风格而不是它们的推理过程，这导致这些小模型的质量不高。Orca是一个有13B参数的小模型，它可以学习到LLM的推理过程。这篇论文中GPT-4作为教师模型，ChatGPT作为助教，使用渐进式学习来训练小模型。 下图展示了各模型相对于ChatGPT的性能得