idf2专题

建模杂谈系列240 增量TF-IDF2-实践

说明 梳理一下tf-idf的全过程,然后用于实际的需求中。 内容 1 概念 从数据的更新计算上,将TF-IDF分为两部分:一部分用于计算IDF的增量部分,属于全局的学习;另一部分则用于批量处理新的数据集,相当于是在predict。 可以把IDF视为一个预训练模型,纳入建模的数据管理系统中统一管理和维护。 流程上: 1 准备一批训练数据,入到raw_data部分2 通过对raw_dat