python爬取今日头条街拍美图（2020.2月新版）

2023-10-23 19:40
文章标签 python 今日 头条 新版 爬取 美图 2020.2

本文主要是介绍python爬取今日头条街拍美图（2020.2月新版），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！ 

最近再学习python爬虫，有幸看到崔庆才大大的教程，这篇博客是记录自己学习过程，也是把遇到的问题记录下来，督促自己学习。
同时借鉴了👇这篇文章，也写的很好！

https://www.jianshu.com/p/8481e34c86c2

首先分析目标网站，搜索‘街拍美图’

在这里插入图片描述
通过查找，我们发现详情页信息是再XHR里，同时页面下滑，左侧会增加URL。在这里插入图片描述
且只是url中的offset值改变，得出通过改变offset的值即可以遍历多个链接。
打开上图中data—0，我们发现详情页的名称即为‘title’的值，我们要得到title，只需解析，然后直接get_text(),就可以得到名称内容。在这里插入图片描述
同时看到‘article_url’，点击进入这个详情页查看URL,通过查看多个，得出详情页的链接即为‘article_url’的值，解析后直接get即可！在这里插入图片描述
开始正式写程序；首先获取主页面，需要注意的是，要加入headers和cookie，否则会报错，params为请求的一些参数，再浏览器的headers可以找到。（当出现返回异常时，可以多看看headers和cookie，我再写的时候有出现过返回异常，改headers后就好了）传进去的参数offset是控制爬取的页面多少，keyword是控制爬取的内容（本次是‘街拍美图’）

def get_url(offset, keyword):#获取主页面headers = {'user - agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36','cookie': 'tt_webid=6756552095103878663; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6756552095103878663; csrftoken=e3986e027ddb4e2f9307dbd024811241; s_v_web_id=k6n06g6v_lbexStV5_3Ntg_4wFE_B0ts_axcGWZuVpJm4; ttcid=007008aee03e463eb9caa0e440e9afba93; __tasessionId=qxl5qt72h1581735000822; tt_scid=a-NdD3V6Hzc21bo3bybzGZtDTFp2jVZ-NcUgYmlEYuwxvVqjZZCmAT0cyZUlplB696ea',}params = {'aid': 24,'app_name': 'web_search','offset': offset,'format': 'json','keyword': keyword,'autoload': 'true','count': 20,'en_qc': 1,'cur_tab': 1,'from': 'search_tab','pd': 'synthesis','timestamp': 158173512669,}url = "https://www.toutiao.com/api/search/content/?" + urlencode(params)try:r = requests.get(url, headers=headers)if r.status_code == 200:res = json.loads(r.text)#json.loads将json格式数据转换为字典return resexcept RequestException:print('访问错误')return None

提取详情页URL，使用yield返回生成器。因为’article_url’是在’data’中，而’data’是我们res的一个键，同时因为在获取主页面时我们返回的是字典类型（用json.loads转化过），所以我们直接get即可。

def parse_page_index(res):#提取详情页urlif res:#判断返回对象是否为空if 'data' in res.keys():for item in res.get('data'):if 'article_url' in item:yield item.get('article_url')

获取详情页，同样需要加入headers和cookie。这一步我们即可获得所有的详情页URL，到这里全部任务已经完成35%了！

def get_page_index(url):#获取详情页headers = {'cookie': 'tt_webid=6756552095103878663; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6756552095103878663; csrftoken=e3986e027ddb4e2f9307dbd024811241; __tasessionId=fme29ihts1580901093483; s_v_web_id=k69b121k_igiqNCx4_57vq_40DG_BVQV_JdrkGEwFqmKB','user-agent': 'Mozilla/5.0'}try:res = requests.get(url, headers=headers)if res.status_code == 200:return res.textexcept RequestException:print('访问错误')return None

下面分析详情页，现在今日头像的图片部分有两种结构，一种是所有的图片都在一个框内展示（如下图），还有一直就是普通的下拉图文格式，我们分析第一种结构（我会告诉你因为崔大神只教了这个结构么！）
在这里插入图片描述
查看详情页，我们发现图片的url在‘JSON.parse’中（应该是网址改变，这里和崔大神的教程不一样）解析后，使用正则表达式提取出来即可！
在这里插入图片描述
因爬出的链接中，含有大量的多余的‘\’以及‘u002F’，使用replace将其替换成正常URL（通过打开详情页，对比地址栏的链接与爬出的链接）

def parse_detail(html, url):#解析详情页soup = BeautifulSoup(html, 'lxml')title = soup.select('title')[0].get_text()#获取详情页名称#print(title)if 'JSON.parse' in html:img = re.compile(r'gallery: JSON.parse\("(.*)"\),', re.S)#获取图片urlphoto = re.search(img, html)#print(photo.group(1))#group(1)只提取第一组if photo.group(1):data = json.loads(photo.group(1).replace('\\', ''))#print(data)if data:if "sub_images" in data.keys():sub = data.get("sub_images")#replace('u002F', '/')images = [item.get('url').replace('u002F', '/') for item in sub]for image in images:get_images(image)return {'title': title,'url': url,'images': images}

到这里可以得到所有图片的url，既可以下载这些图片，因是图片我们使用content返回二进制数据。

def get_images(url):headers = {'cookie': 'tt_webid=6756552095103878663; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6756552095103878663; csrftoken=e3986e027ddb4e2f9307dbd024811241; __tasessionId=fme29ihts1580901093483; s_v_web_id=k69b121k_igiqNCx4_57vq_40DG_BVQV_JdrkGEwFqmKB','user-agent': 'Mozilla/5.0'}print('正在下载', url)try:res = requests.get(url, headers=headers)if res.status_code == 200:save_image(res.content)#content以二进制的格式返回数据return  Noneexcept RequestException:print('下载图片出错')return None

保存图片，使用md5防止图片重复，并命名图片

def save_image(content):file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), 'jpg')#文件存储地址#os.path.exists()就是判断括号里的文件是否存在的意思，括号内的可以是文件路径。if not os.path.exists(file_path):with open(file_path, 'wb') as f:f.write(content)f.close()

将信息保存到MongoDB。这里需要在建一个文件，写入MongoDB数据库的一些内容

def save_to_mongo(result):if result:if db[MONGO_TABLE].insert_one(result):print('存储到MongoDB成功！', result)return Truereturn False

下面给出全部代码：
MongoDB：👇（起的文件名称是“ config.py ”）

MONGO_URL = 'localhost'#链接地址
MONGO_DB = 'toutiao'#数据库名称
MONGO_TABLE = 'toutiao'#表名GROUP_START = 1
GROUP_END = 20
KEYWORD = '街拍美图'

主代码：👇

import json
import os
import re
from hashlib import md5
from urllib.parse import urlencodeimport pymongo
import requests
from requests import RequestException
from bs4 import BeautifulSoup
from config import *
from multiprocessing import Poolclient = pymongo.MongoClient(MONGO_URL,)# 连接本地的数据库
db = client[MONGO_DB]#创建数据库：给数据库命名def get_url(offset, keyword):#获取主页面headers = {'user - agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36','cookie': 'tt_webid=6756552095103878663; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6756552095103878663; csrftoken=e3986e027ddb4e2f9307dbd024811241; s_v_web_id=k6n06g6v_lbexStV5_3Ntg_4wFE_B0ts_axcGWZuVpJm4; ttcid=007008aee03e463eb9caa0e440e9afba93; __tasessionId=qxl5qt72h1581735000822; tt_scid=a-NdD3V6Hzc21bo3bybzGZtDTFp2jVZ-NcUgYmlEYuwxvVqjZZCmAT0cyZUlplB696ea',}params = {'aid': 24,'app_name': 'web_search','offset': offset,'format': 'json','keyword': keyword,'autoload': 'true','count': 20,'en_qc': 1,'cur_tab': 1,'from': 'search_tab','pd': 'synthesis','timestamp': 158173512669,}url = "https://www.toutiao.com/api/search/content/?" + urlencode(params)try:r = requests.get(url, headers=headers)if r.status_code == 200:res = json.loads(r.text)return resexcept RequestException:print('访问错误')return Nonedef parse_page_index(res):#提取详情页urlif res:if 'data' in res.keys():for item in res.get('data'):if 'article_url' in item:yield item.get('article_url')def get_page_index(url):#获取详情页headers = {'cookie': 'tt_webid=6756552095103878663; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6756552095103878663; csrftoken=e3986e027ddb4e2f9307dbd024811241; __tasessionId=fme29ihts1580901093483; s_v_web_id=k69b121k_igiqNCx4_57vq_40DG_BVQV_JdrkGEwFqmKB','user-agent': 'Mozilla/5.0'}try:res = requests.get(url, headers=headers)if res.status_code == 200:return res.textexcept RequestException:print('访问错误')return Nonedef parse_detail(html, url):#解析详情页soup = BeautifulSoup(html, 'lxml')title = soup.select('title')[0].get_text()#获取详情页名称#print(title)if 'JSON.parse' in html:img = re.compile(r'gallery: JSON.parse\("(.*)"\),', re.S)#获取图片urlphoto = re.search(img, html)#print(photo.group(1))if photo.group(1):data = json.loads(photo.group(1).replace('\\', ''))#print(data)if data:if "sub_images" in data.keys():sub = data.get("sub_images")# for item in sub:#     yield item.get("url").replace('u002F', '/')images = [item.get('url').replace('u002F', '/') for item in sub]for image in images:get_images(image)return {'title': title,'url': url,'images': images}def get_images(url):headers = {'cookie': 'tt_webid=6756552095103878663; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6756552095103878663; csrftoken=e3986e027ddb4e2f9307dbd024811241; __tasessionId=fme29ihts1580901093483; s_v_web_id=k69b121k_igiqNCx4_57vq_40DG_BVQV_JdrkGEwFqmKB','user-agent': 'Mozilla/5.0'}print('正在下载', url)try:res = requests.get(url, headers=headers)if res.status_code == 200:save_image(res.content)return  None# r = res.content# file_path = "{0}/{1}.{2}".format(os.getcwd(),md5(r).hexdigest(),'jpg')# f = open(file_path, 'wb')# f.write(r)except RequestException:print('下载图片出错')return Nonedef save_to_mongo(result):if result:if db[MONGO_TABLE].insert_one(result):print('存储到MongoDB成功！', result)return Truereturn Falsedef save_image(content):file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), 'jpg')if not os.path.exists(file_path):with open(file_path, 'wb') as f:f.write(content)f.close()def main(offset):html = get_url(offset, KEYWORD)items = parse_page_index(html)for item in items:#print(item)html1 = get_page_index(item)# parse_detail(html1)result = parse_detail(html1, item)#print(html2)save_to_mongo(result)if __name__ == "__main__":groups = [x*20 for x in range(GROUP_START, GROUP_END + 1)]pool = Pool()pool.map(main, groups)pool.close()main()

运行结果：👇
在这里插入图片描述
MongoDB结果：👇
在这里插入图片描述
爬取到的图片：👇
在这里插入图片描述
自从开始学爬虫，身体一天不如一天！

这篇关于python爬取今日头条街拍美图（2020.2月新版）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/270045。

相关文章

python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
2024网安周今日开幕，亚信安全亮相30城

2024网安周今日开幕，亚信安全亮相30城

2024年国家网络安全宣传周今天在广州拉开帷幕。今年网安周继续以“网络安全为人民，网络安全靠人民”为主题。2024年国家网络安全宣传周涵盖了1场开幕式、1场高峰论坛、5个重要活动、15场分论坛/座谈会/闭门会、6个主题日活动和网络安全“六进”活动。亚信安全出席2024年国家网络安全宣传周开幕式和主论坛,并将通过线下宣讲、创意科普、成果展示等多种形式，让广大民众看得懂、记得住安全知识，同时还
阅读更多...
nudepy，一个有趣的 Python 库！

nudepy，一个有趣的 Python 库！

更多资料获取 📚 个人网站：ipengtao.com 大家好，今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址：https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中，检测图像中的不适当内容（例如裸露图像）是一个重要的任务。nudepy 是一个基于 Python 的库，专门用于检测图像中的不适当内容。该
阅读更多...
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

在 Python 开发中，管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等，都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools？ pip-tools 是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。它主要包含两个核心工具：pip-compile 和 pip
阅读更多...
HTML提交表单给python

HTML提交表单给python

python 代码 from flask import Flask, request, render_template, redirect, url_forapp = Flask(__name__)@app.route('/')def form():# 渲染表单页面return render_template('./index.html')@app.route('/submit_form',
阅读更多...
Python QT实现A-star寻路算法

Python QT实现A-star寻路算法

目录 1、界面使用方法 2、注意事项 3、补充说明 用Qt5搭建一个图形化测试寻路算法的测试环境。 1、界面使用方法 设定起点： 鼠标左键双击，设定红色的起点。左键双击设定起点，用红色标记。 设定终点： 鼠标右键双击，设定蓝色的终点。右键双击设定终点，用蓝色标记。 设置障碍点： 鼠标左键或者右键按着不放，拖动可以设置黑色的障碍点。按住左键或右键并拖动，设置一系列黑色障碍点
阅读更多...
Python：豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】

Python：豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】

**爬取豆瓣电影信息，分析近年电影行业的发展情况** 本文是完整的数据分析展现，代码有完整版，包含豆瓣电影爬取的具体方式【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】   最近MBA在学习《商业数据分析》，大实训作业给了数据要进行数据分析，所以先拿豆瓣电影练练手，网络上爬取豆瓣电影TOP250较多，但对于豆瓣电影全数据的爬取教程很少，所以我自己做一版。 目
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2