[bigdata-031] python3+selenium 做抓取

本文主要是介绍[bigdata-031] python3+selenium 做抓取，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 安装

1.1 pip3 install -U selenium

1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz  解压缩，然后放到/usr/bin目录

2. 抓取豆瓣

#!/usr/bin/env python3
#!-*- coding:utf-8 -*-import time
from selenium import  webdriverdef main():browser = webdriver.Firefox()browser.get('https://www.douban.com/people/62513788/')# print(browser.title)# print(type(browser.title))if browser.title.find("登录") >= 0:elem = browser.find_element_by_id("email")print(elem)elem.send_keys("n19@x65.com")print(elem)elem = browser.find_element_by_id("password")elem.send_keys("tt6")time.sleep(2)elem = browser.find_element_by_class_name("btn-submit")elem.click()if __name__ == '__main__':main()

3. 剩下的事情，就是搜索字符串，以及获取新页面，xpath这些了...

这篇关于[bigdata-031] python3+selenium 做抓取的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---