爬虫实例——化妆品相关数据(多页)

2024-01-26 03:59

本文主要是介绍爬虫实例——化妆品相关数据(多页),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一、题目描述

二、步骤

1、查看响应URL获取到的内容

                ①指定URL

                ②获取请求

                ③获得响应数据

                ④持久化处理(存储到文件中)

 2、内容判断

3、验证动态请求(抓包工具)

                ①打开抓包工具(页面右键的检查)

                ②找到对应的数据包(对比URL)

                ③对比响应数据

                ④结论

4、动态加载数据        

                ①判断其请求方式

                ②查看求请求包内容

                ③查看resposne返回的内容

                ④观察详情页的URL的规律

五、源码

六、总结


一、题目描述

爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据

二、步骤

1、查看响应URL获取到的内容

        最笨的办法:通过代码去测定获取到的URL内容

                ①指定URL

 # step 1:指定URLurl = 'https://m.sogou.com/'

                ②获取请求

# step 2:发起请求# get方法会返回一个响应对象response = requests.get(url=url)

                ③获得响应数据

 # step 3:获取响应数据,text返回的是字符串形式的响应数据page_test = response.textprint(page_test)

                ④持久化处理(存储到文件中)

    with open('./sogou.html', 'w', encoding='utf-8') as fp:fp.write(page_test)print('爬取数据结束')

 2、内容判断

        通过对获取的信息的与通过浏览器得到的页面相对比发现有不同之处,不同之处在于获取的信息中不包括企业的信息(因为企业的信息一定不是通过URL的方式得到的,而是其他方式——ajax动态请求)

3、验证动态请求(抓包工具)

                ①打开抓包工具(页面右键的检查)

                ②找到对应的数据包(对比URL)

                ③对比响应数据

        url对应的响应数据在保存response中,此时的内容就是通过requests请求得到的内容,在源码中进行搜索就能判断请求的数据是否是URL页面的数据

                ④结论

        针对相关的需求进行页面爬取时,爬取的网页中的数据可能是动态加载的,不一定能由地址栏中URL请求得到,可能是其它的加载方式

4、动态加载数据        

                ①判断其请求方式

        打开抓包工具,将选项卡切换到SHR中,然后再进行请求发送,发现得到ajax请求包

                ②查看求请求包内容

(URL,请求方式,是否携带参数,响应回来的数据类型)

                ③查看resposne返回的内容

response中返回的是json数据,通过json格式化工具查看其内容,发现其就是首页中显示的数据

                ④观察详情页的URL的规律

其域名都相同,只是所对应的ID不同,而ID存储在前一个页面返回的JSON数据中,所以将域名和ID进行拼接得到的就是详情页的URL,得到URL之后再验证其是否是动态加载的数据(用抓包工具判断)。

五、源码

# -*- coding: utf-8 -*-
import requests
import jsonif __name__ == '__main__':#批量获取不同企业的id值headers = {'User-Agent': 'Mozilla  /5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36'}id_list = []  # 存储企业的idall_data_list = []  # 存储所有的企业详情数据url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'#参数的封装for page in range(1,6):data = {'on':'true','page':'1','pageSize':'15','productName':'','conditionType':'1','applyname':'','applysn':''}json_ids = requests.post(url=url,headers=headers,data=data).json()for dic in json_ids['list']:id_list.append(dic['ID'])post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'for id in id_list:data = {'id':id}detail_json = requests.post(url=post_url,headers=headers,data=data).json()all_data_list.append(detail_json)#持久化存储all_data_listfp = open('./allData.json','w',encoding='utf-8')json.dump(all_data_list,fp=fp,ensure_ascii=False)print('over')

六、总结

        此代码试运行不了的,因为有一些反扒机制的存在,但是其思维的方式以及整个的逻辑思维是通用的,而且是普遍的,所以要体会其过程和逻辑,然后再多实践,形成一个固定思维。

        视频连接:

2020年Python爬虫全套课程(学完可做项目)_哔哩哔哩_bilibili需要课件的兄弟姐妹们可以加VX:ylai003 领取视频中老师的课件和代码喜欢的伙伴方便留个三连ヾ(◍°∇°◍)ノ゙,会继续更新优质教程给大家~~https://www.bilibili.com/video/BV1Yh411o7Sz?p=15&spm_id_from=pageDriver

        此视频老师的思路清晰,讲的也很细致,听的也很明白,但是不适合0基础的人去听,最少要先了解python的知识,然后有一点爬虫的知识,不然听起来会有点吃力,如果想尝试也是可以的 

        

这篇关于爬虫实例——化妆品相关数据(多页)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/645582

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

sqlite3 相关知识

WAL 模式 VS 回滚模式 特性WAL 模式回滚模式(Rollback Journal)定义使用写前日志来记录变更。使用回滚日志来记录事务的所有修改。特点更高的并发性和性能;支持多读者和单写者。支持安全的事务回滚,但并发性较低。性能写入性能更好,尤其是读多写少的场景。写操作会造成较大的性能开销,尤其是在事务开始时。写入流程数据首先写入 WAL 文件,然后才从 WAL 刷新到主数据库。数据在开始

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X