公众号：数据挖掘与机器学习笔记 1.TF-IDF算法步骤 1.1 计算词频 考虑到文章有长短之分，为了便于不同文章的比较，进行"词频"标准化。 1.2 计算逆文档频率 需要一个语料库（corpus），用来模拟语言的使用环境。 如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数

新闻主题分类任务 背景 以一段新闻报道中的文本描述内容为输入，使用模型帮助我们判断它最优可能属于哪一种类型的新闻，这是典型的文本分类问题，这里假定每种类型是互斥的，即文本描述有且只有一种类型 新闻主题分类数据 #通过torchtext获取数据#导入相关torch工具包import torchimport torchtext# from torchtext.datasets impo