mongodb搭建校内搜索引擎——爬取网页文本

目标：
读取excle文档中存储的url列表，爬取列表中网页的文本内容

概要：
在已经在获得爬虫获取的url列表的工作基础上，进行网页内容的获取。编程用到request（获取网页源码），BeautifulSoup(解析html,并且获取网页纯文本)，lxml（解析html，在使用BeautifulSoup要预先安装），Xlrd(读取excle中内容)

我的思考：
一开始想用正则表达式来判断并且获的网页源码中的内容，但是发现自己的需求是获取所有纯文本的内容，刚开始接触爬虫时尝试过用，当你的需求是提取标题，或者特定单一的内容时，使用正则表示式还是可行的。考虑到我的要求是提取所有的文本内容，正则表达式就是比较局限，要考虑的情况较多，难免会有遗漏，所有去google有没有现有的python模块能干这种事。
果然，找到如下内容：

在这里附上BeautifulSoup的中文文档使用链接：
BeautifulSoup4.2.0中文文档
在这里我只是使用了最为简单的方法实现，BeautifulSoup不仅实现了我的需求，而且远比我想象的还要强大。

代码：

#-*-coding:utf8-*-
from bs4 import BeautifulSoup
import requests
import re
import xlrd
import timedef get_text(url):headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"}html=requests.get(url,headers = headers)#获取网页源码html_text=html.textsoup=BeautifulSoup(html_text,"lxml")#用BeautifulSoup获取网页内的纯文本fp_result=open("result.txt","a")result=soup.get_text# print (type(result))row_number=0fp_result.write(url)#打开文件结果以txt文件输出fp_result.write("\n------------------------------------------\n")for text in soup.stripped_strings:#soup.stripped_strings列表逐个输出fp_result.write(str(row_number)+":")fp_result.write(text.encode("utf-8"))#以utf-8编码输出fp_result.write("\n")row_number+=1fp_result.close()#关闭文件def get_xls(path):#打开已经通过爬虫获取的url列表，并且逐个读取urldata=xlrd.open_workbook(path)#打开excle文件table=data.sheets()[0]#打开工作表0nrows=table.nrows#获取行数finished_line=0for i in range(nrows):#逐个输出每行的内容ss=table.row_values(i)#获取列数for j in range(len(ss)):#逐个输出每列的内容finished_line+=1#记录完成进度try:get_text(ss[j])process=1.0*finished_line/nrowsprint "have finished %.3f" %process#记录完成进度print str(finished_line)except requests.exceptions.ConnectionError:#当出现requests.exceptions.ConnectionError时，将错误的链接记录到error.txt文件，错误原因有待进一步研究解决fp_error.write(ss[j]+"\n")print "target finished "+str(nrows)#记录总共的行数fp_error=open("error.txt","a")#打开记录错误的文件
fp_error.write(time.strftime('%Y-%m-%d',time.localtime(time.time())))#记录此次运行时间
fp_error.write("\n------------------------------------------\n")
get_xls("cs.xlsx")#调用函数，获取内容
fp_error.close()#关闭错误文件