本文主要是介绍教你如何用python来爬取电影天堂上面的电影,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1.首先导入需要的模块
import requests
from bs4 import BeautifulSoup
import csv
2.获取网页,并解析结果
def html_parser(url_start):
#获取html
try:
headers={‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36’} #模拟浏览器登入
r=requests.get(url_start,headers=headers,timeout=10) #获取网页
except:
pass
#print(r.status_code)
else:
html = r.content.decode(‘gb2312’,‘ignore’) #解码gb2312,忽略其中有异常的编码,仅显示有效的编码
#print(len(html)) #解析网页
soup = BeautifulSoup(html,'lxml')
for li in soup.select('.co_area2 li'):
这篇关于教你如何用python来爬取电影天堂上面的电影的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!