本文主要是介绍朴素贝叶斯(Naive Bayes) | 算法实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
01 起
大数据时代,我们的“隐私”早已不再是隐私,一个特别直接的证据是什么呢?
我们的邮箱也好、手机也好,经常收到恼人的垃圾邮件、垃圾短信
被这些东西烦的不行,怎么办呢?网上有很多垃圾邮件过滤软件,可以拿来直接用的,其中的原理是什么呢?
今天我们自己造个轮子来过滤邮箱里的垃圾邮件吧!
系好安全带,我要开车了!
02 过滤原理
垃圾邮件过滤的原理其实很简单:朴素贝叶斯(Naive Bayes)
NB的详细原理我们在这一文中讲过:统计学习方法 | 朴素贝叶斯法,大家可以点击学习
简单点,利用朴素贝叶斯原理过滤垃圾邮件,内在逻辑是这样的:
朴素贝叶斯公式:P(Y|X)=P(X|Y)*P(Y)/P(X)
我们把Y看作邮件分类结果(0不是垃圾邮件、1是垃圾邮件),X看作邮件中的各个词语
于是,P(Y)表示训练集中各类邮件出现的概率**(条件概率)**(大数定理,即各类邮件出现次数/总邮件数),若训练样本较少,大数定理不适用,本文旨在深刻理解NB原理,因此即使本文中训练样本较少,但仍然使用了大数定理。
P(X)表示邮件某个词语出现的概率,P(X|Y)表示某类邮件中词语X出现的概率**(先验概率)**
P(Y|X)表示邮件包含X词语时,该邮件为Y类的概率**(后验概率)**,是垃圾邮件过滤的结果,我们会将测试样本X归类到使得P(Y|X)最大的那个Y类
这就是利用NB进行垃圾邮件分类的原理
03 算法实现
知道了过滤原理,我们就来写个算法过滤垃圾邮件吧!
本次邮件过滤使用的样本为我qq邮箱中的74条邮件,人工标注了是否为垃圾邮件,其中有26条垃圾邮件,样本数据长这样
可以看到,样本数据中有较多符号等非文字内容,于是我们需要对样本进行清洗,总得来说,造轮子主要是一下几个步骤:
- 读取样本数据(自己qq邮箱74条邮件)
- 数据清洗(去除样本中的符号等非文字内容)
- 数据处理(训练集测试集分割、文本向量化)
- 调用sklearn中的NB模型训练,评估,优化模型(本文重点不在此,略去)
- 自己写个NB模型分辨垃圾邮件
数据清洗
刚才我们已经读取了样本数据,下面我们进行数据清洗,清洗思路如下:
- 去除待处理文本每条文本中的符号、数字、字母,仅剩中文字符(即以符号、数字、字母为分隔符,隔开每条文本作文item,构成一个list)
- 去除文本list中长度小于等于1的item
- 将文本list(text[i])每个item分词(可加载自定义词典),并放入新的对应index的文本list中(text_word[i])
- 将新的文本list(text_word[i])用空格连接起来并返回
基于此思路,给出以下清洗函数
def text_format():import jiebaimport reimport pandas as pdprint ("待处理文本格式要求:utf-8编码格式,仅包含待处理文本,每行为一条文本")text_path=input("请输入待清洗文本路径+名字:")#加载用户自定义词典用于分词userdict_path=input("请输入自定义分词词典路径+名字(可不输入):")if userdict_path !="":jieba.load_userdict(userdict_path)#根据用户输入地址,读取文件with open(text_path,"r",encoding="utf-8") as file:text=file.readlines()for i in range(len(text)):text[i]=text[i].strip()#定义一个空列表,用于存放分词后的文本,长度和text一致text_word=[[] for i in range(len(text))]splitter=re.compile(r"\W+|\d+|[a-z]+") #正则匹配,去除文本中的符号、数字、字母等非中文字符的元素for i in range(len(text)):text[i]=splitter.split(text[i].lower())text[i]=[word for word in text[i] if len(word)>1] #每条文本已经被分为一段一段的句子,每条文本此时是一个list,先去除其中字段长度小于等于1的单词for word in text[i]:text_word[i].extend(jieba.lcut(word))text_word[i]=" ".join(text_word[i]) #为了便于TfidfVectorizer等文本向量化处理,将每条标题用元素用空格连起来return text_word
清洗前后效果如下
清洗前
清洗后
数据处理
接下来就是数据处理,包括以下步骤:
- 将每条邮件对应的标签提取出来成为一个list
- 利用train_test_split将清洗后的数据与其对应的标签切分为训练集、测试集(这个分割函数也可以自己写,本文略去)
- 构成词袋模型,记录各个词出现的频率
- CountVectorizer(stop_words=).fit_transform(训练集)
- CountVectorizer(stop_words=).transform(测试集)
#建立训练集、测试集
label=emails.type.tolist()
X_train,X_test,Y_train,Y_test=train_test_split(emails_format,label,test_size=0.15,random_state=5)
#加载并处理停用词典
with open(r"E:\python\data\stopwords.txt","r",encoding="utf-8") as file:stop_words=file.readlines()
for i in range(len(stop_words)):stop_words[i]=stop_words[i].strip("\n")#构成词袋模型,记录各个词出现的频率
cv=CountVectorizer(stop_words=stop_words)
X_train_count=cv.fit_transform(X_train)
X_test_count=cv.transform(X_test)
处理后的结果如下,可以看到,训练集62条邮件、测试集12条邮件,共提取出386个文本特征
朴素贝叶斯算法实现
接下来就是重头戏了,自定义NB模型,思路如下:
- 利用各词出现的频率和对应标签概率,训练NB模型各概率参数
- 将测试集各特征在训练集对应的先验概率带入计算,得到测试集各样本后验概率,取后验概率最大的标签类别为该测试样本类别
1. 利用训练集,训练概率参数(拉普拉斯平滑)[类似mnb.fit()]
#先将训练集的内容和标签合为一个dataframe
d={"content":X_train_count.toarray().tolist(),"label":Y_train}
emails_train=pd.DataFrame(data=d)#将正常邮件(Y=0)和垃圾邮件(Y=1)分为两个子集
normal=emails_train[emails_train.label==0]
normal.reset_index(inplace=True,drop=True) #重置normal索引,作用于原表,丢弃之前的索引
spam=emails_train[emails_train.label==1]
spam.reset_index(inplace=True,drop=True) #重置spam索引,作用于原表,丢弃之前的索引"""计算Y_train=0、1的条件概率(拉普拉斯平滑)"""
Py0=(len(normal)+1)/(len(emails_train)+2)
Py1=(len(spam)+1)/(len(emails_train)+2)"""计算X_train各特征向量取各特征值时的先验概率(拉普拉斯平滑)"""
"""计算垃圾邮件中,各特征向量的先验概率"""
vd=len(spam.content[0]) #特征向量的维度
spam_count_dict={} #用于保存content特征向量按列累加的结果
spam_count_prob={} #用于保存垃圾邮件中各特征向量出现的概率#求content各特征向量按列累加的结果,用于计算各向量在训练集中出现的概率
for i in range(len(spam)):for j in range(vd):spam_count_dict[j]=spam_count_dict.get(j,0)+spam.content[i][j] #计算垃圾邮件中各特征向量出现的次数,即,求content各特征向量count按列累加的结果for j in range(vd):spam_count_prob[j]=(spam_count_dict.get(j,0)+1)/(len(spam)+2)#计算垃圾邮件中各特征向量出现的概率(拉普拉斯平滑)"""计算正常邮件中,各特征向量的先验概率"""
normal_count_dict={} #用于保存content特征向量按列累加的结果
normal_count_prob={} #用于保存正常邮件中各特征向量出现的概率#求content各特征向量按列累加的结果,用于计算各向量在训练集中出现的概率
for i in range(len(normal)):for j in range(vd):normal_count_dict[j]=normal_count_dict.get(j,0)+normal.content[i][j] #计算垃圾邮件中各特征向量出现的次数,即,求content各特征向量count按列累加的结果for j in range(vd):normal_count_prob[j]=(normal_count_dict.get(j,0)+1)/(len(normal)+2)#计算垃圾邮件中各特征向量出现的概率(拉普拉斯平滑)
2. 将测试集各特征向量值带入训练的概率参数中,计算后验概率,取使后验概率最大的Y=ck为测试样本的分类[类似mnb.predict(), mnb.predict_proba()]
"""计算各测试样本的后验概率"""
test_classify={} #用于保存测试集各样本的后验概率 P(Y|X)=P(Y)*P(X|Y)/P(X)
Px_spam={} #用于保存测试集各样本在垃圾邮件下的先验概率 P(X|Y)
Px_normal={} #用于保存测试集各样本在正常邮件下的先验概率 P(X|Y)for i in range(X_test_array.shape[0]):for j in range(X_test_array.shape[1]):if X_test_array[i][j]!=0:Px_spam[i]=Px_spam.get(i,1)*spam_count_prob.get(j)#计算垃圾邮件下,各测试样本的后验概率Px_normal[i]=Px_normal.get(i,1)*normal_count_prob.get(j)#计算正常邮件下,各测试样本的后验概率test_classify[i]=Py0*Px_normal.get(i,0),Py1*Px_spam.get(i,0) #后验概率P(Y|X)=P(Y)*P(X|Y)/P(X)#比较各样本属于不同分类时(正常/垃圾)的后验概率,去后验概率大的为样本分类结果
results={} #用于存放邮件判定结果
for key,value in test_classify.items():if value[0]<=value[1]:results[key]=1else:results[key]=0
测试集12条邮件的分类结果如下,其中第二列为该邮件不是垃圾邮件的概率,第三列为是垃圾邮件的概率:
因此得到分类结果:
3. 计算分类准确率 [类似mnb.score()]
#计算分类准确率
count=0 #计数,统计被正确分类的邮件数量
for key,value in results.items():if value==Y_test[key]:count+=1
score=count/len(Y_test)
print ("NB模型分类准确率为:{0}%".format(score*100))
输出结果为:
04 总结
本文从朴素贝叶斯原理出发,自己写了一个NB模型,用于滤除个人邮箱中的垃圾邮件,抛砖引玉,希望可以启发大家。
另外,本文设计的NB模型不足之处在于,训练样本太少,分类不够客观准确。解法其实很简单:增加样本量。
当然,本文重点在于理解NB算法原理,下期实操预告:决策树实现。
05 参考
《统计学习方法》 李航 Chapter4
这篇关于朴素贝叶斯(Naive Bayes) | 算法实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!