Python selenium 爬虫教学

本文主要是介绍Python selenium 爬虫教学，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

python 环境请先自主安装哦O(∩_∩)O

前期工作

先安装 chrome driver
插件网站：chrome driver
在这里插入图片描述
在插件网站找到对应的下载：

在这里插入图片描述
解压移动：

有版本号显示成功

mac下记得，一定要放开权限！！！！

先上图演示结果：

在这里插入图片描述
只展示一部分，因为数据源太多了，最后会放出完整代码
原理就是，代码控制浏览器，异步加载数据之后，可以获取完整的网页数据
（此网站仅供参考使用，请大家测试别的数据，原理都是一样的）

必要库，记得导入

import time
from selenium import webdriver
from selenium.webdriver.common.by import By  # 与下面的2个都是等待时要用到
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

登录部分：
先查看网页的数据：登录网站
网页怎么查看就不教学了
在这里插入图片描述

1、获取两个input的xpath

在这里插入图片描述
代码：填充用户名密码：

	url = 'http://www.mirrorpsy.cn/index.php?s=member&c=login&m=index'driver = webdriver.Chrome()driver.get(url)wait = WebDriverWait(driver, 25)driver.maximize_window()  # 窗口最大化user = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[1]/input')))user.send_keys('xxxx') # 用户密码就不暴露了pw = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[2]/input')))pw.send_keys('xxxxx')print('login param input success')

直接运行，可看到浏览器自动启动，并且输入了用户名密码

2、登录

获取登录按钮的xpath

	login = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="myform"]/div/div[4]/button')))  # 登录按钮login.click()print('login success')time.sleep(10)

睡10s为了使网页完全加载

3、cookies

有些网站会用到cookies，但是这个网站【没有用到】，把获取cookies的贴出来

	cookies = driver.get_cookies()cookie_list = []for dict in cookies:cookie = dict['name'] + '=' + dict['value']cookie_list.append(cookie)cookie = ';'.join(cookie_list)print('cookie' + cookie)

4、正式爬取数据，获取图片链接

这一段就是需要的图片列表（分页过会讲）
在这里插入图片描述
直接查看 ul 标签的xpath（这里就不教了，上面有查看的方法）

//*[@id=“cn_perio_list”]

获取后拿到 ul 下面的标签li：

items = driver.find_element_by_xpath('//*[@id="cn_perio_list"]')
lis = items.find_elements_by_xpath('li')

获取的 li 是个集合，遍历获取子标签 a，并获取 a 的属性 src

for li in lis:imgs = li.find_element_by_tag_name('img')print(imgs)print(imgs.get_attribute('src'))image_list.append(imgs.get_attribute('src'))

这样，一页的数据就好了

分页

下面有分页标签，但是此网站比较特殊，动态加载页数的，最后一页的内容一直变

在这里插入图片描述

所以直接采用下一页的方式，若ul中没有li了，就跳出死循环即可：
在这里插入图片描述
当然页数怎么获取，也提供出来（但是没用）

# 本来想做页数解析的，但是他的页数动态改变，所以页数就不用了
pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')
a = pages.find_elements_by_xpath('a')
pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')
print('page:' + str(pageEle.text))
page = int(pageEle.text)

以上就完成了爬取
在这里插入图片描述
完整代码：

import timefrom selenium import webdriver
from selenium.webdriver.common.by import By  # 与下面的2个都是等待时要用到
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWaitif __name__ == "__main__":url = 'http://www.mirrorpsy.cn/index.php?s=member&c=login&m=index'driver = webdriver.Chrome()driver.get(url)wait = WebDriverWait(driver, 25)driver.maximize_window()  # 窗口最大化user = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[1]/input')))user.send_keys('xxx') #想要测试可留言pw = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[2]/input')))pw.send_keys('xxxx')print('login param input success')login = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="myform"]/div/div[4]/button')))  # 登录按钮login.click()print('login success')time.sleep(10)cookies = driver.get_cookies()cookie_list = []for dict in cookies:cookie = dict['name'] + '=' + dict['value']cookie_list.append(cookie)cookie = ';'.join(cookie_list)print('cookie' + cookie)print('get knowledge')# 学科知识url_knowledge = 'http://www.mirrorpsy.cn/index.php?s=xkzs'# 心理视频url_video = 'http://www.mirrorpsy.cn/index.php?s=video'# 心理音频url_jyxl = 'http://www.mirrorpsy.cn/index.php?s=jyxl'# 心理图片url_photo = 'http://www.mirrorpsy.cn/index.php?s=photo'# 学术论文url_xslw = 'http://www.mirrorpsy.cn/index.php?s=xslw'# 心理案例url_xlal = 'http://www.mirrorpsy.cn/index.php?s=xlal'# 心理专家url_news = 'http://www.mirrorpsy.cn/index.php?s=news'# driver.get(url_photo)# 本来想做页数解析的，但是他的页数动态改变，所以页数就不用了# pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')# a = pages.find_elements_by_xpath('a')# pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')# print('page:' + str(pageEle.text))# page = int(pageEle.text)image_list = []pageWeb = 0while True:print('get page:' + str(pageWeb))url_pic = 'http://www.mirrorpsy.cn/index.php?s=photo&c=search&page=' + str(pageWeb + 1)driver.get(url_pic)items = driver.find_element_by_xpath('//*[@id="cn_perio_list"]')lis = items.find_elements_by_xpath('li')print('len:' + str(len(lis)))if len(lis) == 0:breakfor li in lis:imgs = li.find_element_by_tag_name('img')print(imgs)print(imgs.get_attribute('src'))image_list.append(imgs.get_attribute('src'))time.sleep(5)pageWeb = pageWeb + 1# pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')# a = pages.find_elements_by_xpath('a')# pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')# page = int(pageEle.text)print('图片爬取结束')print('图片集合结果：' + str(image_list))time.sleep(500000)