R语言实现︱局部敏感哈希算法(LSH)解决文本机械相似性的问题(二,textreuse介绍)

本文主要是介绍R语言实现︱局部敏感哈希算法(LSH)解决文本机械相似性的问题(二,textreuse介绍),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!



每每以为攀得众山小,可、每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~

———————————————————————————


        上一篇(R语言实现︱局部敏感哈希算法(LSH)解决文本机械相似性的问题(一,基本原理))讲解了LSH的基本原理,笔者在想这么牛气冲天的方法在R语言中能不能实现得了呢?

        于是在网上搜索了一下,真的发现了一个叫textreuse的包可以实现这样的功能,而且该包较为完整,可以很好地满足要求。

现在的版本是 0.1.3,最近的更新的时间为 2016-03-28。

        国内貌似比较少的用这个包来实现这个功能,毕竟R语言在运行大规模数据的性能比较差,而LSH又是处理大规模数据的办法,所以可能国内比较少的用R来执行这个算法。


回顾一下LSH的算法步骤:


      1、一般的步骤是先把数据点(可以是原始数据,或者提取到的特征向量)组成矩阵;


      2、第一次hash functions(有多个哈希函数,是从某个哈希函数族中选出来的)哈希成一个叫“签名矩阵(Signature Matrix)”的东西,这个矩阵可以直接理解为是降维后的数据,此时用simhash、minhash来做,第一步的hash过程可以使用不同的functions来做;


      3、第二次LSH把Signature Matrix哈希一下,就得到了每个数据点最终被hash到了哪个bucket里,如果新来一个数据点,假如是一个网页的特征向量,我想找和这个网页相似的网页,那么把这个网页对应的特征向量hash一下,看看它到哪个桶里了


        那么本篇详细介绍一下textreuse包的基本功能,分为:

一、数据格式识别与导入

二、机械分词技术

三、hash函数

四、简单文本相似性比较

五、并行


————————————————————————————————————————


一、语料数据格式识别与导入

        后续的LSH必须要用到textreuse指定的格式(类似tm包),所以数据导入过程之后还有一步数据转化的过程。所以在textreuse包中有两种方法实现以上功能:

        1、直接从文件读入,同时转化为指定格式(tm包格式),函数有两个:TextReuseTextDocument、TextReuseCorpus;

        2、先用常规方法读入R环境,然后转化数据格式,同样可以用上述两个函数。

        这两个函数是textreuse的数据基础也是关键。两个函数在转化的过程中就可以直接分词+基本hash形成签名矩阵。当然,也可以设置以下两个函数tokenizer=NULL,hash_func=NULL,先转化,然后在自己分词与hash化。


1、TextReuseTextDocument

        这是textreuse比较独特的一个读入函数。

TextReuseTextDocument(text, file = NULL, meta = list(),tokenizer = tokenize_ngrams, ..., hash_func = hash_string,minhash_func = NULL, keep_tokens = FALSE, keep_text = TRUE,skip_short = TRUE)
        file参数可以读取文件file数据,需要设定文件目录;tokeniezer表示读入的数据自动分词;同时读入还将其直接哈希化了(hash_func)。

library(textreuse)
file <- system.file("extdata/ats/remember00palm.txt", package = "textreuse")
doc <- TextReuseTextDocument(file = file, meta = list("publisher" = "ATS"),tokenizer = tokenize_ngrams, n = 5,keep_tokens = TRUE)
        来看看官方案例,其中的tokenizer和n后续会说,n代表多元组。官方案例中是读入单个文件,不知道是否能批量读入某文件夹里的文件。但是批量读取的情况下,还是用下面的函数比较合适。


2、TextReuseCorpus

        这个函数基于tm包演化而来的,跟上面的函数差不多。

TextReuseCorpus(paths, dir = NULL, text = NULL, meta = list(),progress = interactive(), tokenizer = tokenize_ngrams, ...,hash_func = hash_string, minhash_func = NULL, keep_tokens = FALSE,keep_text = TRUE, skip_short = TRUE)
        该函数的读入文本范围比较广,txt、字符串的都没问题,如果有其他拓展名的文件可以用dir来读入。

        而且可以批量导入某一个文件夹中所有的文件内容。
        如果有多个文件的基础上,也可以通过corpus[["remember00palm"]]、corpus[c("calltounconv00baxt", "lifeofrevrichard00baxt")]这样的形式选中对应的文本内容。


3、函数查看与基本内容修改

        以前在使用tm包的使用就觉得转化格式之后,查看起来就不是那么方便了。同样在这有一些函数可以查看里面具体内容。

        其中转化了之后的数据会带有一些信息,通过meta可以更改这些信息,比如文档的ID信息。

#查看基本信息
meta(doc)      #查看基本信息 id
tokens(doc)    #机械分词内容
wordcount(doc) #总词数
content(doc)   #查看原始内容
names(doc)     #每个文档的姓名(可修改)
        其中wordcount如果有多个文件,那么就会计算每个文件的字数,这个跟table有点像。

        如果需要修改其中的一些内容可以用meta。

#修改相关信息
meta(doc)$id
meta(doc, "id")
meta(doc, "date") <- 1865  



————————————————————————————————————————


二、机械分词技术

        分词技术可以分为机械分词以及基于统计序列标注的分词技术,具体的拓展可以看我另外一篇博客的内容:NLP︱中文分词技术小结、几大分词引擎的介绍与比较

        在R语言中专门用来中文分词的有jiebeR和Rwordseg,现在这两个大多数的分词技术都是基于序列标注的,所以计算量相对较大,但是文本机械相似性对分词没有那么高的要求,要求分成单个字符串的形式就可以满足要求了。

        所以,textreuse就可以比较方面的实现简单的机械分词,只是把文档的内容去掉噪音+分开成字符串。

        现在假如有一句话:

text <- "本次讲习班主要围绕知识获取、学习及推理技术,以及基于知识图谱的应用进展,邀请相关领域的专家学者做主题报告。"

1、机械分词——tokenize_words()

> tokenize_words(text)[1] "本次"   "讲习班" "主要"   "围绕"   "知识"   "获取"   "学习"   "及"     "推理"   "技术"  
[11] "以及"   "基于"   "知识"   "图"     "谱"     "的"     "应用"   "进展"   "邀请"   "相关"  
[21] "领域"   "的"     "专家"   "学者"   "做"     "主题"   "报告"  
从效果来看,还不错,竟然能把一些词提取出来,而且去掉了标点,而且速度较快。貌似可以再这样的分词技术上做很多后续的探究。


2、断句——tokenize_sentences

> tokenize_sentences(text)
[1] "本次讲习班主要围绕知识获取 学习及推理技术 以及基于知识图谱的应用进展 邀请相关领域的专家学者做主题报告"
        断句的原理是根据标点符号的来进行。

3、多元组——tokenize_ngrams

        可能对中文的支持不好,输出的格式是乱码的,所以在这不能示范中文,而是英文。

> text <- "How many roads must a man walk down? The answer is blowin' in the wind."
> tokenize_ngrams(text, n = 3)[1] "how many roads"   "many roads must"  "roads must a"     "must a man"      [5] "a man walk"       "man walk down"    "walk down the"    "down the answer" [9] "the answer is"    "answer is blowin" "is blowin in"     "blowin in the"   
[13] "in the wind"    

4、跨越式多元组——tokenize_skip_ngrams

> tokenize_skip_ngrams(text, n = 3, k = 2)[1] "how must walk"      "many a down"        "roads man the"      "must walk answer"  [5] "a down is"          "man the blowin"     "walk answer in"     "down is the"       [9] "the blowin wind"    "how roads a"        "many must man"      "roads a walk"      
[13] "must man down"      "a walk the"         "man down answer"    "walk the is"       
[17] "down answer blowin" "the is in"          "answer blowin the"  "is in wind"        
[21] "how many roads"     "many roads must"    "roads must a"       "must a man"        
[25] "a man walk"         "man walk down"      "walk down the"      "down the answer"   
[29] "the answer is"      "answer is blowin"   "is blowin in"       "blowin in the"     
[33] "in the wind"       
        以上的3、4的多元组的具有很大的意义。但是对中文的支持一直不好,输出的中文是乱码的,这个暂时笔者没有去细致探究。


5、诗词的断句——英文场景

        包的作者自己写了一个断句的函数。

> poem <- "Roses are red\nViolets are blue\nI like using R\nAnd you should too"
> string=poem
> tokenize_lines <- function(string) {
+   stringr::str_split(string, "\n+")[[1]]
+ }
> 
> tokenize_lines(poem)
[1] "Roses are red"      "Violets are blue"   "I like using R"     "And you should too"
        通过\来分割。

————————————————————————————————————————


三、hash化

        该包里面有挺多的hash函数:hashes、minhashes、rehash、hash_string

        R语言中构造hash函数也有专门的包:digest

        其中hash_string(词),有n个词就hash成n个hash值;

        minhash则是把文档,比如一个文档1W个词,还是固定的一个文档,300维,有一个比较有效的降维功效,同时也不会损失太多信息量,原来相似的文本表现的还是相似。

        rehash则可以自己选择:

rehash(x, func, type = c("hashes", "minhashes"))

        自由选择用hashes还是minhashes。




————————————————————————————————————————


四、简单文本相似性比较

        相似性距离在上篇讲过,这里不赘述。一般有两类:海明距离(用在simhash)、Jaccard距离(用在Minhash)

如果只是不hash,直接看样本的相似性,必然是Jaccard要好一些。

> a <- tokenize_words(paste("How does it feel, how does it feel?",
+                           "To be without a home",
+                           "Like a complete unknown, like a rolling stone"))
> b <- tokenize_words(paste("How does it feel, how does it feel?",
+                           "To be on your own, with no direction home",
+                           "A complete unknown, like a rolling stone"))
> #?similarity-functions
> jaccard_similarity(a, b)      #相似程度
[1] 0.65
        此时可以看出jaccard的相似性距离为0.65。

        当然textreuse包中同样有其他的一些距离,可以来看看:

> jaccard_dissimilarity(a, b)   #相差程度=1-相似程度
[1] 0.35
> jaccard_bag_similarity(a, b)  #最大值为0.5
[1] 0.4
> ratio_of_matches(a, b)        #在ab交叉/b总数
[1] 0.75
        jaccard_dissimilarity=1-jaccard_similarity;

        ratio_of_matches原理跟Jaccard差不多也是根据集合来求相似性的。


————————————————————————————————————————


五、并行

        在求解过程中,一般来说,语料生成以及分词部分耗费计算量,可以采用并行算法,textreuse基于parallel拓展了该包的性能,可以设置核心数。但是遗憾的是不能再windows系统下设置。

options("mc.cores" = 4L)



每每以为攀得众山小,可、每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~

———————————————————————————

这篇关于R语言实现︱局部敏感哈希算法(LSH)解决文本机械相似性的问题(二,textreuse介绍)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/518552

相关文章

哈希leetcode-1

目录 1前言 2.例题  2.1两数之和 2.2判断是否互为字符重排 2.3存在重复元素1 2.4存在重复元素2 2.5字母异位词分组 1前言 哈希表主要是适合于快速查找某个元素(O(1)) 当我们要频繁的查找某个元素,第一哈希表O(1),第二,二分O(log n) 一般可以分为语言自带的容器哈希和用数组模拟的简易哈希。 最简单的比如数组模拟字符存储,只要开26个c

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

性能测试介绍

性能测试是一种测试方法,旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试,可以确定系统是否能够满足预期的性能要求,找出性能瓶颈和潜在的问题,并进行优化和调整。 发现性能瓶颈:性能测试可以帮助发现系统的性能瓶颈,即系统在高负载或高并发情况下可能出现的问题

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

康拓展开(hash算法中会用到)

康拓展开是一个全排列到一个自然数的双射(也就是某个全排列与某个自然数一一对应) 公式: X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。(a[i]在不同应用中的含义不同); 典型应用: 计算当前排列在所有由小到大全排列中的顺序,也就是说求当前排列是第

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖