本文主要是介绍2020-11-10 Python------------把爬取的东西存Excel，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
爬到了影片链接，中英文名字
import bs4 #网页解析，获取数据
from bs4 import BeautifulSoup
import re #正则表达式，进行文字匹配
import urllib.request,urllib.error #制定URL，获取网页数据
# import xlwt #进行Excel操作
import sqlite3 #进行SQLite3数据库操作def main():baseurl="https://movie.douban.com/top250?start="#1.爬取网页dataList = getData(baseurl)savapath = ".\\豆瓣电影Top250.xls"#获取影片的超链接
findlink = re.compile(r'<a href="(.*?)">') #创建正则表达式对象，表示规则
findImgSrc = re.compile(r'<img.src="(.*?)" width="100"/>',re.S) #re.s 让换行符包含在字符中
findName = re.compile(r'<span class="title">(.*?)</span>') #提取到的东西就是正则表达式代表的东西#爬取网页
def getData(baseurl):dataList=[] #定义一个列表来存所有爬到的数据for i in range(0,10):url = baseurl + str(i*25) #str从给定对象创建一个新的字符串对象 ,然后连接字符串html=askURL(url)# 2.逐一解析数据soup = BeautifulSoup(html,"html.parser") #(类型，解析器)for item in soup.find_all('div',class_="item"): # 查找符合要求的字符串形成列表data = []item = str(item)#获取影片的超链接link=re.findall(findlink,item)[0] #(规则变量,字符串)，[0]表示取第一个满足的链接data.append(link)linkname=re.findall(findName,item)if(len(linkname)==2): #如果获取到的数据长度为二ctitle=linkname[0] #存中文名字data.append(ctitle)otitle=linkname[1].replace("\xa0/\xa0","") #去掉英文名中多余字符data.append(otitle)else:data.append(linkname[0])data.append('') #外国名字留空dataList.append(data) #每一个item提到的东西放一个列表data，最后把所有item放一个总的列表return dataList
# 3.保存数据#savaDate(savepath)# askURL("https://movie.douban.com/top250")#得到一个指定URL的网页内容
def askURL(url):head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"}#用户代理表示告诉豆瓣服务器我们不是爬虫，我们是浏览器request = urllib.request.Request(url,headers=head) #发起请求try:response = urllib.request.urlopen(request) #获得回应html = response.read().decode('utf-8') # 对获取到的网页源码解码# print(html)except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)return html#保存数据
def savaDate(savepath):print("save......")if __name__ == '__main__':main()
写正则表达式规则不太会，后来发现只要把想爬的东西用正则表达式替换就行了
re.compile(r'<span class="title">(.*?)</span>')
多了一个空格也爬不到
#错误
re.compile(r'<span class="title">(.*?) </span>')
规则前加r防止错误解析
但是为撒
otitle=linkname[1].replace("\xa0/\xa0","") #去掉英文名中多余字符
这前面加r反而会错误，应该是因为replace是原样替换把
这篇关于2020-11-10 Python------------把爬取的东西存Excel的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
