本文主要是介绍文本挖掘之详细整体的流程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1、分词
2、特征权重的计算
3、模型的选择
(1)向量空间模型与布尔模型
(2)概率模型
4、特征选择
IG(特征选择),DF(文档频率),IF-IDF,ECE(期望交叉熵),X方,MI(文档互信息),WET(文档证据权重),OI,CC(相关系数)等常用的特征选择
在我前面的文章都有提到
5、特征抽取
LDA(线性特征抽取),PCA(主成分分析),FA(因子分析),SVD(奇异值分解),NMF(非负矩阵分解),LSI或者LSA(潜在语义分析)
我的其他文章都有提到
6、文本分类算法
KNN,SVM,BP神经网络,Bayes,决策树,基于规则分类,组合算法。
7、文本聚类算法
K-means,agent,divided,DBSCAN 等
8、模型的评估
指标
准确率,错误率,精确度,召回率(主要使用混洗矩阵)
如何验证这些指标?
保持、随机二次抽样、交叉验证、自助法
如何比较二个模型?
ROC曲线的绘制
这篇关于文本挖掘之详细整体的流程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!