finetti专题

Deep de Finetti: Recovering Topic Distributions from Large Language Models

Authors: Liyi Zhang ; R. Thomas McCoy ; Theodore R. Sumers ; Jian-Qiao Zhu ; Thomas L. Griffiths Q: 这篇论文试图解决什么问题? A: 这篇论文探讨大型语言模型(LLMs)如何捕捉文档的主题结构。尽管LLMs是在下一个词预测任务上进行训练的,但它们能够生成连贯的文本段落,这表明它们必须以某种方式捕捉