MMR算法学习

2023-12-16 05:58

文章标签 算法学习 mmr

本文主要是介绍MMR算法学习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

MMR

MMR的全称为Maximal Marginal Relevance ，中文名字为最大边界相关法或者最大边缘相关。

在MMR的公式是这样的，截图来自http://www.cnblogs.com/little-horse/p/7191287.html

由于我们算的是自动摘要，所以主要看下面的公式。

左边的score计算的是句子的重要性分值，右边的计算的是句子与所有已经被选择成为摘要的句子之间的相似度最大值，注意这里的是负号，说明成为摘要的句子间的相似度越小越好。此处体现了MMR的算法原理，即均衡考虑了文章摘要的重要性和多样性。这种摘要提取方式与textrank不同，textrank只取全文的重要句子进行排序形成摘要，忽略了其多样性。

对于一篇文档，计算当前句子Q在全文中的相似度，MMR认为，对于相似度全文排名越高的表示为重要性越高。这里的相似度一般为余弦相似度，原来的论文就是cos。推荐介绍的两篇论文都有写到一些计算相似度的算法，可以研究研究。

代码来自：https://github.com/fajri91/Text-Summarization-MMR/blob/master/mmr.py 改写成中文摘要：

[python]  view plain  copy 
# -*- coding: utf-8 -*-  
""" 
Created on Thu Sep  7 17:10:57 2017 
 
@author: Mee 
"""  
  
import os  
import re  
import jieba  
from sklearn.feature_extraction.text import CountVectorizer  
from sklearn.metrics.pairwise import cosine_similarity  
import operator  
  
f=open(r'C:\Users\user\Documents\Python Scripts/stopword.dic')#停止词    
stopwords = f.readlines()    
stopwords=[i.replace("\n","") for i in stopwords]     
  
def cleanData(name):  
    setlast = jieba.cut(name, cut_all=False)  
    seg_list = [i.lower() for i in