如何用10行代码鉴别文章有没有“洗稿”？

本文主要是介绍如何用10行代码鉴别文章有没有“洗稿”？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

最近洗稿事件闹得沸沸扬扬，挨踢哥作为一名资深吃瓜群众、伪技术专家，给大家科普一下，如何用技术手段鉴别一篇文章有没有“洗稿”嫌疑。

标题是为了吸引大家进来而已（这个看标题的时代:( ），代码远不止10行，此处省略前戏500字，直奔主题：

640?wx_fmt=jpeg

TF-IDF标签提取法

思路大致是，基于自然语言处理TF-IDF算法提取关键字，例如提取段落前5个关键字进行比较，这里面涉及到数据挖掘、文本处理、信息检索等计算机前沿牛B领域，挨踢哥如果讲得清楚，就不坐在这码字了，有兴趣的自行google下。

取3个段落中最长的句子simhash

simhash是google用来处理海量文本去重的算法。google出品，你懂的。simhash最牛逼的一点就是将一个文档，最后转换成一个64位的字节，暂且称之为特征字，然后判断重复只需要判断他们的特征字的距离是不是<n（根据经验这个n一般取值为3），就可以判断两个文档是否相似。

用机器学习词向量+余弦相似度

读取样本文本，对文本进行utf-8编码转换，对文本进行预处理，完成中文分词，形成词条库，并去除停用词；读取文本词条库，统计每个词条的词频，词频代表了每个词对一段文本的重要程度，字词的重要性随着它在文件中出现的次数成正比增加；对上一步整理形成的每个词的词频组成文本的词条词频特征码；使用1-5的方法分析待分类文本，生成待分类文本的词条词频特征码；将待分类文本的词条词频与样本的词条词频特征码进行比较，应用余弦相似度算法判断待分类文本与样本的相似度，取最相似的类型为最终分类的类型。

精彩文章推荐：