2020-11-06 Python----------爬取豆瓣预备知识(urllib库request,beautifulsoup)

本文主要是介绍2020-11-06 Python----------爬取豆瓣预备知识(urllib库request,beautifulsoup),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Python爬取豆瓣

Python编码规范

一般第一句加

# -*- coding: utf-8 -*-

# coding=utf-8

加入main函数用于测试函数

# -*- coding: utf-8 -*-
def main():print("hello")if __name__ == "_main_":   #主程序入口main()
#两个下划线name再两个下划线
#test1文件夹下t1py文件定义了一个函数,在其他文件夹下的文件调用函数
#引入自定义的模块
from test1 import t1

引入系统模块直接import

开始爬

import urllib.request# 获取一个get请求
response = urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode('utf-8'))  # 对获取到的网页源码解码
print(response.getheaders())
print(response.getheaders())  #获取响应头信息
print(response.getheader("Server"))  #获取响应头信息里的server信息,去掉s
# 获取一个post请求
import urllib.request
import urllib.parsedata = bytes(urllib.parse.urlencode({"hello": "world"}), encoding="utf-8")  # data是提交post表单附加的数据,helloworld处可以放置用户名密码
response = urllib.request.urlopen("http://httpbin.org/post", data=data)  # post请求需要接受二进制文件的参数
print(response.read().decode("utf-8"))
# 超时处理,timeout是控制响应时间,否则报错
try:response = urllib.request.urlopen("http://www.baidu.com", timeout=0.01)print(response.read().decode('utf-8'))  # 对获取到的网页源码解码
except urllib.error.URLError as e:print("time  out!")
#反爬虫的伪装,伪装成浏览器
import urllib.request, urllib.errorurl = "https://www.douban.com"
headers = {"User-Agent": "Mozilla/5.0(Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"}
req = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(req)
print(response.read().decode("utf-8"))
#返回418代表伪装失败
#得到一个指定URL的网页内容
def askURL(url):head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"}#用户代理表示告诉豆瓣服务器我们不是爬虫,我们是浏览器request = urllib.request(url,headers=head)    #发起请求try:response = urllib.request.urlopen(request)   #获得回应print(response.read().decode('utf-8'))  # 对获取到的网页源码解码except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)return html
#Beautifulsoup功能,获取页面的标签和里面的内容,还可以获取页面整体的信息from bs4 import BeautifulSoupfile = open("./index.html", "rb")
html = file.read()
bs = BeautifulSoup(html, "html.parser")
print(bs.title)   #有标签  <title>只有百度一下你就知道<title>
print(bs.title.string)  #无标签 只有百度一下你就知道
print(type(bs.title.string))  #NavigableString类型
#还可以bs.a.attrs拿到一个标签里所有的属性,返回字典形式
print(bs.name)  #文档 打印结果[document]
print(bs)  #整个文档
print(type(bs)) #BeautifulSoup类型
print(bs.a.string)
print(type(bs.a.string)) #特殊的NavigableString类型,输出内容不包含注释
# 文档搜索
import refrom bs4 import BeautifulSoupfile = open("./index.html", "rb")
html = file.read()
bs = BeautifulSoup(html, "html.parser")# (1)find_all
# 字符串过滤:会查找与字符串完全匹配的内容
t_list = bs.find_all("a")
print(t_list)
# 正则表达式搜索:使用search()方法来匹配内容
t_list = bs.find_all(re.compile("a"))  # 编译正则表达式# 方法:传入一个函数(方法),根据函数的要求来搜索
def name_is_exists(tag):return tag.has_attr("name")t_list = bs.find_all(name_is_exists)
for item in t_list:print(item)
# (2)kwargs   给参数而不是规则
# t_list = bs.find_all(id="head")
t_list = bs.find_all(class_=True)  # class是系统关键字要加_
t_list = bs.find_all(href="http://news.baidu.com")
for item in t_list:print(item)# (3)text参数
t_list = bs.find_all(text="hao123")
t_list = bs.find_all(text=["hao123", "地图", "贴吧"])
for item in t_list:print(item)
# (4)limit参数
t_list = bs.find_all("a", limit=3)  # 取前三个标签a,限制数
for item in t_list:print(item)# css选择器t_list=bs.select('title')  #用标签查找t_list=bs.select(".mnav")  #按类名查找,css用。表示类名t_list=bs.select("#u1")  #按id查找 css用#表示idt_list = bs.select("a[class='bri']")  # 通过属性来查找t_list = bs.select("head > title")   # 通过子标签来查找
for item in t_list:print(item)t_list = bs.select(".mnav ~ .bri")   #查找.mnav的兄弟标签.bri
print(t_list[0].get_text())

总的代码(还没存数据只是能爬html)

import bs4   #网页解析,获取数据
import re    #正则表达式,进行文字匹配
import urllib.request,urllib.error  #制定URL,获取网页数据
# import xlwt  #进行Excel操作
import sqlite3  #进行SQLite3数据库操作#爬取网页def main():baseurl="https://movie.douban.com/top250?start="#1.爬取网页dataList = getData(baseurl)savapath = ".\\豆瓣电影Top250.xls"def getData(baseurl):dataList=[]for i in range(0,10):url = baseurl + str(i*25)   #str从给定对象创建一个新的字符串对象 ,然后连接字符串html = askURL(url)
# 2.逐一解析数据return dataList
# 3.保存数据#savaDate(savepath)# askURL("https://movie.douban.com/top250")#得到一个指定URL的网页内容
def askURL(url):head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"}#用户代理表示告诉豆瓣服务器我们不是爬虫,我们是浏览器request = urllib.request.Request(url,headers=head)    #发起请求try:response = urllib.request.urlopen(request)   #获得回应html = response.read().decode('utf-8') # 对获取到的网页源码解码print(html)except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)return html#保存数据
def savaDate(savepath):print("save......")if __name__ == '__main__':main()

按照老师敲得一步一步来的,但是还是有好多错误,落个定义啥的,最后解决完error,执行居然是空的,原来是没定义main执行的入口,最后加上终于好了。

if __name__ == '__main__':main()

这篇关于2020-11-06 Python----------爬取豆瓣预备知识(urllib库request,beautifulsoup)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/941252

相关文章

Python实现特殊字符判断并去掉非字母和数字的特殊字符

《Python实现特殊字符判断并去掉非字母和数字的特殊字符》在Python中,可以通过多种方法来判断字符串中是否包含非字母、数字的特殊字符,并将这些特殊字符去掉,本文为大家整理了一些常用的,希望对大家... 目录1. 使用正则表达式判断字符串中是否包含特殊字符去掉字符串中的特殊字符2. 使用 str.isa

python中各种常见文件的读写操作与类型转换详细指南

《python中各种常见文件的读写操作与类型转换详细指南》这篇文章主要为大家详细介绍了python中各种常见文件(txt,xls,csv,sql,二进制文件)的读写操作与类型转换,感兴趣的小伙伴可以跟... 目录1.文件txt读写标准用法1.1写入文件1.2读取文件2. 二进制文件读取3. 大文件读取3.1

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

基于Python实现读取嵌套压缩包下文件的方法

《基于Python实现读取嵌套压缩包下文件的方法》工作中遇到的问题,需要用Python实现嵌套压缩包下文件读取,本文给大家介绍了详细的解决方法,并有相关的代码示例供大家参考,需要的朋友可以参考下... 目录思路完整代码代码优化思路打开外层zip压缩包并遍历文件:使用with zipfile.ZipFil

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》:本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST(抽象语法树)、字符串操作... 目录前言解决方案方法一:使用正则表达式方法二:使用 Pyparsing方法三:使用 AST方法四:使用字

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

Python运行中频繁出现Restart提示的解决办法

《Python运行中频繁出现Restart提示的解决办法》在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的Python程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼... 目录问题描述代码示例无限循环递归调用内存泄漏解决方案1. 检查代码逻辑无限循环递归调用内存泄漏2.