python爬虫学习之task1:request应用

2023-10-29 14:40
文章标签 python 学习 应用 爬虫 request task1

本文主要是介绍python爬虫学习之task1:request应用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

python爬虫学习之task1

  • HTTP
  • 网页基础
    • 1.组成
    • 2.网页结构
  • Request
    • 1.安装
    • 2.七个方法
    • 4.豆瓣电影爬取练习

HTTP

HTTP是一个客户端（用户）和服务器端（网站）之间进行请求和应答的标准。

通过使用网页浏览器、网络爬虫或者其他工具，客户端可以向服务器上的指定端口（默认端口为80）发起一个HTTP请求。这个客户端成为客户代理（user agent）。应答服务器上存储着一些资源码，比如HTML文件和图像。这个应答服务器成为源服务器（origin server）。在用户代理和源服务器中间可能存在多个“中间层”，比如代理服务器、网关或者隧道（tunnel）。尽管TCP/IP是互联网最流行的协议，但HTTP中并没有规定必须使用它或它支持的层。

网页基础

1.组成

网页是由 HTML 、 CSS 、JavaScript 组成的。

HTML:整个网页的框架。

CSS：层叠样式表。样式表定义如何显示 HTML 元素，就像 HTML 中的字体标签和颜色属性所起的作用那样。样式通常保存在外部的 .css 文件中。“样式”指网页中文字大小、颜色、元素间距、排列等格式。

JavaScript ：实现网页的数据动态交互、网页上的动画。

2.网页结构

创建一个简单的HTML页面，显示“hello python”。

<!DOCTYPE html> 
<!--整个文档是以 DOCTYPE 来开头的--><html lang="en"> 
<!--%整个文档最外层的标签是 <html>-->
<!--HTML 文档一般分为 head 和 body 两个部分--><head>
<!--在 head 头中，一般指定当前的编码格式为 UTF-8 ，并且使用 title 来定义网页的标题,显示在浏览器的标签上--><meta charset="UTF-8"><title>Title</title>
</head><body>
<!--body 中的内容一般为整个 html 文档的正文,html的标签由<h1>到<h6>六个标签构成,字体由大到小递减,
换行标签为<br>,链接使用<a>来创建,herf属性包含链接的URL地址，比如<a href="http://www.baidu.com">
一个指向百度的链接--><div id="container"> <!--id 属性为元素提供在全文档内的唯一标识--><div class="wrapper"> <!--class 属性提供了一种将类似元素分类的方式，常被用于语义化或格式化--><h1>Hello World</h1><div>Hello Python.</div></div></div>
</body>
</html> 
<!--结尾以 </html> 来表示闭和,不强制需要每个标签都一定要有闭和标签-->

在浏览器中打开，显示如下：

在这里插入图片描述

Request

一个网络爬虫程序最普遍的过程：

  1. 访问站点；
  2. 定位所需的信息；
  3. 得到并处理信息。

1.安装

pip install requests

2.七个方法

在这里插入图片描述request.get()用法：
在这里插入图片描述## 3.例子
分别用request.get()和python自带urllib爬取“python之禅”。

import requests
url = 'https://www.python.org/dev/peps/pep-0020/'
res = requests.get(url)
text = res.text
with open('zon_of_python.txt', 'w') as f:f.write(text[text.find('<pre')+28:text.find('</pre>')-1])
print(text[text.find('<pre')+28:text.find('</pre>')-1])

import urllib
url = 'https://www.python.org/dev/peps/pep-0020/'
res = urllib.request.urlopen(url).read().decode('utf-8')
print(res[res.find('<pre')+28:res.find('</pre>')-1])

输出：

Beautiful is better than ugly.
Explicit is better than implicit.
Simple is better than complex.
Complex is better than complicated.
Flat is better than nested.
Sparse is better than dense.
Readability counts.
Special cases aren't special enough to break the rules.
Although practicality beats purity.
Errors should never pass silently.
Unless explicitly silenced.
In the face of ambiguity, refuse the temptation to guess.
There should be one-- and preferably only one --obvious way to do it.
Although that way may not be obvious at first unless you're Dutch.
Now is better than never.
Although never is often better than *right* now.
If the implementation is hard to explain, it's a bad idea.
If the implementation is easy to explain, it may be a good idea.
Namespaces are one honking great idea -- let's do more of those!

用火狐浏览器打开金山词霸，翻译“python之禅”。打开开发者工具的network查看headers和data。

import requestsdef translate(word):url = "http://fy.iciba.com/ajax.php?a=fy"data = {'f': 'auto','t': 'auto','w': word,}headers = {'user-agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:75.0) Gecko/20100101 Firefox/75.0',}  # User-Agent会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答。response = requests.post(url, data=data, headers=headers)  # 发起请求json_data = response.json()  # 获取json数据# print(json_data)return json_datadef run(word):result = translate(word)['content']['out']print(result)return resultdef main():with open('zon_of_python.txt') as f:zh = [run(word) for word in f]with open('zon_of_python_zh-CN.txt', 'w') as g:for i in zh:g.write(i + '\n')if __name__ == '__main__':main()

结果：

美丽胜过丑陋。外显优于内隐..简单胜于复杂。复杂胜于复杂。平比嵌套好..疏而不密..可读性计数。特殊情况不足以打破规则。尽管实用性胜过纯度。错误永远不应该悄悄地过去。
除非有明确的沉默。面对暧昧，拒绝猜测的诱惑..应该有一种----最好只有一种----明显的办法来做到这一点。虽然这种方式一开始可能不明显，除非你是荷兰人。现在总比永远好。
虽然从来没有比现在更好。如果实施很难解释，那是个坏主意。如果实现很容易解释，这可能是个好主意。命名空间是一个伟大的想法-让我们做更多的这些！

4.豆瓣电影爬取练习

爬取豆瓣top250电影名字和海报。
注意：一开始res.status_code = 418，触发了反爬。解决方法：添加header。
代码：

import requests
import redef parase(text):para = re.compile('<img.*?alt.*?src.*?class="">')items = re.findall(para, text)for item in items:yield itemif __name__ == '__main__':headers = {'user-agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:75.0) Gecko/20100101 Firefox/75.0',}page = [0, 25, 50, 75, 100, 125, 150, 175, 200, 225]for num in page:url = 'https://movie.douban.com/top250?start=' + str(num) + '&fliter='print(url)res = requests.get(url,headers = headers)text = res.textprint(res.status_code)information = parase(text)for item in information:film_name = item[item.find('alt=')+4:item.find('src')-2]film_image = item[item.find('src=')+4:item.find('class')-2]print(film_name, film_image)

结果如下：

"肖申克的救赎 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg
"霸王别姬 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2561716440.jpg
"阿甘正传 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p1484728154.jpg
"这个杀手不太冷 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p511118051.jpg
"美丽人生 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2578474613.jpg
"泰坦尼克号 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p457760035.jpg
"千与千寻 "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2557573348.jpg
"辛德勒的名单 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p492406163.jpg
"盗梦空间 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p513344864.jpg
"忠犬八公的故事 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p524964016.jpg
"海上钢琴师 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2574551676.jpg
"楚门的世界 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p479682972.jpg
"三傻大闹宝莱坞 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p579729551.jpg
"机器人总动员 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1461851991.jpg
"放牛班的春天 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1910824951.jpg
"星际穿越 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2206088801.jpg
"大话西游之大圣娶亲 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2455050536.jpg
"熔炉 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p1363250216.jpg
"疯狂动物城 "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2315672647.jpg
"无间道 "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2564556863.jpg
"龙猫 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2540924496.jpg
"教父 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p616779645.jpg
"当幸福来敲门 "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p1312700628.jpg
"怦然心动 "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p501177648.jpg
"触不可及 "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p1454261925.jpg
https://movie.douban.com/top250?start=25&fliter=

后面的电影没列出来。注意一点，排行一共有10页，每页网址不同。

这篇关于python爬虫学习之task1:request应用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/301335。

相关文章

Python脚本实现自动删除C盘临时文件夹

Python脚本实现自动删除C盘临时文件夹

《Python脚本实现自动删除C盘临时文件夹》在日常使用电脑的过程中,临时文件夹往往会积累大量的无用数据,占用宝贵的磁盘空间,下面我们就来看看Python如何通过脚本实现自动删除C盘临时文件夹吧... 目录一、准备工作二、python脚本编写三、脚本解析四、运行脚本五、案例演示六、注意事项七、总结在日常使用
阅读更多...
Python将大量遥感数据的值缩放指定倍数的方法(推荐)

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块，批量读取大量多波段遥感影像文件，分别对各波段数据加以数值处
阅读更多...
python管理工具之conda安装部署及使用详解

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具：conda部署+使用一、安装部署1、 下载2、 安装3
阅读更多...
Python进阶之Excel基本操作介绍

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中，很多工作都需要与数据打交
阅读更多...
使用Python实现在Word中添加或删除超链接

使用Python实现在Word中添加或删除超链接

《使用Python实现在Word中添加或删除超链接》在Word文档中,超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能,本文将为大家介绍一下Python如何实现在Word中添加或... 在Word文档中，超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能。通过添加超
阅读更多...
Python MySQL如何通过Binlog获取变更记录恢复数据

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志（Binlog）获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat
阅读更多...
利用Python编写一个简单的聊天机器人

利用Python编写一个简单的聊天机器人

《利用Python编写一个简单的聊天机器人》这篇文章主要为大家详细介绍了如何利用Python编写一个简单的聊天机器人,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 使用 python 编写一个简单的聊天机器人可以从最基础的逻辑开始，然后逐步加入更复杂的功能。这里我们将先实现一个简单的
阅读更多...
基于Python开发电脑定时关机工具

基于Python开发电脑定时关机工具

《基于Python开发电脑定时关机工具》这篇文章主要为大家详细介绍了如何基于Python开发一个电脑定时关机工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 简介2. 运行效果3. 相关源码1. 简介这个程序就像一个“忠实的管家”，帮你按时关掉电脑，而且全程不需要你多做
阅读更多...
Python实现高效地读写大型文件

Python实现高效地读写大型文件

《Python实现高效地读写大型文件》Python如何读写的是大型文件,有没有什么方法来提高效率呢,这篇文章就来和大家聊聊如何在Python中高效地读写大型文件,需要的可以了解下... 目录一、逐行读取大型文件二、分块读取大型文件三、使用 mmap 模块进行内存映射文件操作（适用于大文件）四、使用 pand
阅读更多...
python实现pdf转word和excel的示例代码

python实现pdf转word和excel的示例代码

《python实现pdf转word和excel的示例代码》本文主要介绍了python实现pdf转word和excel的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录一、引言二、python编程1，PDF转Word2，PDF转Excel三、前端页面效果展示总结一
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2