本文主要是介绍爬虫笔记【豆瓣图书TOP250和猫眼电影TOP100】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
参考视频：Python网络爬虫与信息提取北京理工大学【嵩天】
requsts库
BeautifulSoup库
正则表达式
图片
周二珂女神的头像
import requests
url = 'http://tvax2.sinaimg.cn/crop.12.0.1218.1218.180/71e28d79ly8fn19fotj2qj20yi0xu0w9.jpg'
r = requests.get(url)
with open('chloe.jpg','wb') as f:f.write(r.content)豆瓣评论
《了不起的盖茨比》
import requests
from bs4 import BeautifulSoupr= requests.get('https://book.douban.com/subject/25708359/comments/')demo = r.text soup = BeautifulSoup(demo,'html.parser') pattern = soup.find_all('p','comment-content')for item in pattern:print(item.string)豆瓣评论总分
《小王子》
import re
import requests
from bs4 import BeautifulSoupsum = 0url='https://book.douban.com/subject/1084336/comments/'
r = requests.get(url)
r.encoding='utf-8'
#第一个是string，第二个是解析器，一般推荐用lxml
soup = BeautifulSoup(r.text,'lxml')
#第一个是tag,第二个是attrs,返回满足该条件的列表
pattern = soup.find_all('p','comment-content')
for item in pattern:print(item.string)
#第一个是要找的内容，第二个是原串，第三个是为了在多行的情况下也能正常查找出来，返回的也是列表
p = re.findall('<span class="user-stars allstar(.*?) rating"',r.text,re.S)
for star in p:sum += int(star)
print(sum)
4.寻找所有a标签，其中link是tag
for link in soup.find_all('a'):print(link.get('href'))print（link['href']）
5.模拟浏览器发送信息
kv = {'user-agent':'Mozilla/5.0'}
r = requests.get(url,headers = kv)
6.显示通用语言
r.encoding = 'utf-8'
7.检测查询状态,正常则返回200
r.status_code
8.BeautifulSoup的5五种基本元素
①Tag
②Name
③Attributes
④NavigableString
⑤Comment
tag = soup.a
tag.attrs['class']
tag.name
tag.string
tag.parent
9.遍历：上行，下行，平行
①children,decendents #下行
②parents #上行
③next_siblings,previous_siblings #平行
10.html内容更加友好的显示
soup.a.prettify()
11.如果要表示一个空的代码块，可以使用pass语句
def do_nothing():pass
12.正则查找
re.findall(pattern,string) #pattern是匹配串，string是原串，返回所有符合要求的列表
re.search(pattern,string) #同上，但是search只提取第一个符合要求的内容
re.sub(str1,str2) #用str2替换str1并返回替换后的内容猫眼电影TOP100
from bs4 import BeautifulSoup
import requestsdef get_url(url, k):try:headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) ''AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}r = requests.get(url, headers=headers)r.raise_for_status()demo = r.textr.encoding = 'utf-8'soup = BeautifulSoup(r.text, 'html.parser')pattern = soup.find_all('dd') # tag attrs 匹配对应的标签 然后返回bs4类型for item in pattern:print(k, end=" ")k += 1print(item.a.attrs['title'], end=" ")tt = item.find_all('i')print(tt[1].string,end="")print(tt[2].string)except:print("http error!")if __name__ == "__main__":k = 1print("——————————猫眼TOP100电影——————————")print("排名 电影名 评分")for i in range(10):url = 'http://maoyan.com/board/4?offset='+str(i*10)get_url(url, k+i*10)
截止2020年1月4日的结果
——————————猫眼TOP100电影——————————
排名 电影名 评分
1 霸王别姬 9.5
2 肖申克的救赎 9.5
3 罗马假日 9.1
...
99 千与千寻 9.3
100 海上钢琴师 9.3豆瓣图书TOP250
from bs4 import BeautifulSoup
import requestsdef get_url(url, k):try:kv = {'User-Agent':'Mozilla/5.0'}r = requests.get(url,headers = kv)r.raise_for_status()demo = r.textsoup = BeautifulSoup(demo, 'html.parser')pattern = soup.find_all(name='div',attrs={"class":"pl2"} ) score = soup.find_all(name='span', attrs={"class": "rating_nums"})for item, s in zip(pattern, score):print(k, end=" ")k += 1print(item.a.attrs['title'], end=" ")print(s.string)except:print("http error!")if __name__ == "__main__":k = 1print("——————————豆瓣TOP250书籍——————————")print("排名 书名 评分")for i in range(10):url = 'https://book.douban.com/top250?start='+str(i*25)get_url(url, k+i*25)
截止2020年1月4日的结果
——————————豆瓣TOP250书籍——————————
排名 书名 评分
1 追风筝的人 8.9
2 解忧杂货店 8.5
3 小王子 9.0
...
248 来不及说我爱你 8.0
249 中国大历史 8.3
250 寻羊冒险记 8.2这篇关于爬虫笔记【豆瓣图书TOP250和猫眼电影TOP100】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
