[bigdata-031] python3+selenium 做抓取

2024-06-11 09:48

文章标签 抓取 selenium python3 bigdata 031

本文主要是介绍[bigdata-031] python3+selenium 做抓取，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 安装

1.1 pip3 install -U selenium

1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz 解压缩，然后放到/usr/bin目录

2. 抓取豆瓣

#!/usr/bin/env python3
#!-*- coding:utf-8 -*-import time
from selenium import  webdriverdef main():browser = webdriver.Firefox()browser.get('https://www.douban.com/people/62513788/')# print(browser.title)# print(type(browser.title))if browser.title.find("登录") >= 0:elem = browser.find_element_by_id("email")print(elem)elem.send_keys("n19@x65.com")print(elem)elem = browser.find_element_by_id("password")elem.send_keys("tt6")time.sleep(2)elem = browser.find_element_by_class_name("btn-submit")elem.click()if __name__ == '__main__':main()

3. 剩下的事情，就是搜索字符串，以及获取新页面，xpath这些了...

这篇关于[bigdata-031] python3+selenium 做抓取的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

http://www.chinasem.cn/article/1050826。 23002807@qq.com

相关文章

Python3 BeautifulSoup爬虫 POJ自动提交

Python3 BeautifulSoup爬虫 POJ自动提交

POJ 提交代码采用Base64加密方式 import http.cookiejarimport loggingimport urllib.parseimport urllib.requestimport base64from bs4 import BeautifulSoupfrom submitcode import SubmitCodeclass SubmitPoj():de

阅读更多...

PHP抓取网站图片脚本

PHP抓取网站图片脚本

方法一： <?phpheader("Content-type:image/jpeg"); class download_image{function read_url($str) { $file=fopen($str,"r");$result = ''; while(!feof($file)) { $result.=fgets($file,9999); } fclose($file); re

阅读更多...

用Java抓取CSDN主页上的图片

用Java抓取CSDN主页上的图片

一，步骤一：获取网页源码 1，定义要爬取的页面的URL对象 //定义即将访问的链接String url="http://www.csdn.net";//获取CSDN的URL对象URL realURL = new URL(url); 2，获得这个链接的一个连接对象 URLConnection connection = realURL.openConnection();

阅读更多...

如何使用Selenium捕获控制台日志

如何使用Selenium捕获控制台日志

Selenium是一个流行的开源工具，用于自动化Web浏览器。其中一个关键功能是能够与浏览器的开发者控制台交互。本文将向您展示如何在Selenium中使用Java获取控制台日志。这些日志对于调试和解决Selenium脚本的问题非常有用。如何查看任何网页的控制台日志首先，打开浏览器的开发者控制台。在大多数浏览器中，您可以通过右键点击页面并选择“检查”来做到这一点。我们将在我们的测试网站——h

阅读更多...

Python安装：Mac 使用brew 安装Python2 和 Python3

Python安装：Mac 使用brew 安装Python2 和 Python3

安装python ## python2brew install python ## python3brew install python3 出现错误 Error: An unexpected error occurred during the `brew link` stepThe formula built, but is not symlinked into /usr/loc

阅读更多...

Python: #!/usr/bin/python3 #!/usr/bin/env python3

Python: #!/usr/bin/python3 #!/usr/bin/env python3

只能放在第一行，第二行就没有效果了。 1. 路径不同 #!/usr/bin/python3&& #!/usr/bin/env python3写在脚本语言第一行的目的是想要以什么可执行程序去运行这个文件中的代码。 #!/usr/bin/python3是告诉操作系统执行这个脚本的时候，调用/usr/bin下的python3解释器； #!/usr/bin/env python3这种用法是为了

阅读更多...

Linux搭建Python3、Django环境

Linux搭建Python3、Django环境

开发十年，就只剩下这套架构体系了！ >>> 好久没写了，朋友们，我又回来了。安装Python3 Python全部版本下载地址： https://www.python.org/ftp/ 解决RedHat，使用Python3退格出现乱码问题： yum -y install readline-devel.x86_64 下载Python3：

阅读更多...

ubuntu 安装python3 教程

ubuntu 安装python3 教程

本篇教程，主要介绍如何在Ubuntu上安装python3教程。 1、查看是否有python 在安装前，首先看看自己系统上，是否存在python环境，可能有些系统，默认就安装过python，如果已经有python了，可以直接跳过安装教程。 2、安装步骤 apt update && apt install -y python3 python3-pip

阅读更多...

selenium的webdriver三种等待方式(显式等待WebDriverWait+implicitly_wait隐式等待+sleep强制等待)

selenium的webdriver三种等待方式(显式等待WebDriverWait+implicitly_wait隐式等待+sleep强制等待)

隐式等待是等页面加载，不是等元素！！！ 1、显式等待一个显式等待是你定义的一段代码，用于等待某个条件发生然后再继续执行后续代码。显式等待是等元素加载！！！ from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import

阅读更多...

selenium webdriver实现的原理及流程

selenium webdriver实现的原理及流程

用Selenium实现自动化，主要需要三个东西： 1.自动化测试代码：自动化测试代码发送请求给浏览器的驱动（比如火狐驱动、谷歌驱动） 2.浏览器驱动：它来解析这些自动化测试的代码，解析后把它们发送给浏览器 3.浏览器：执行浏览器驱动发来的指令，并最终完成工程师想要的操作。测试代码中包含了各种期望的对浏览器界面的操作，例如点击。测试代码通过给Webdriver发送指令，让Webdriv

阅读更多...