第14.18节 爬虫实战4: request+BeautifulSoup+os实现利用公众服务Wi-Fi作为公网IP动态地址池

本文主要是介绍第14.18节 爬虫实战4: request+BeautifulSoup+os实现利用公众服务Wi-Fi作为公网IP动态地址池,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

写在前面:本文相关方法为作者独创,仅供参考学习爬虫技术使用,请勿用作它途,禁止转载!

一、 引言
在爬虫爬取网页时,有时候希望不同的时候能以不同公网地址去爬取相关的内容,去网上购买地址资源池是大部分人员的选择。老猿所在的环境有电信运输商部署的对外开放的WiFi,由于涉及对外开放支持不同用户接入,其分配的地址经过NAT地址转换,但其公网地址一定是一个地址池,对于需要公网地址池资源的人员来说,这就是一个免费的地址资源池。本节介绍的内容就是怎么借用这个地址资源池作为自己的地址池。

二、 要解决的问题
老猿仔细思考如何借用电信运营商提供给公众服务的WiFi,发现需要解决如下几个问题:

  1. Wi-Fi后面必须有个支持动态分配和映射的公网地址池,这个一般的公众服务Wi-Fi都是这样的,不存在问题;
  2. Wi-Fi最好支持账号、密码登录或自动登录功能,不能使用短信校验码登录,这个问题很关键,老猿所在区域的电信Wi-Fi需要使用手机+短信随机码方式登录,但登录一次后支持自动登录,即下次使用时无需再次认证,直接使用cookies信息自动登录;
  3. 需要能支持公网地址的动态分配,不能使用重复地址,这个一般公众服务的Wi-Fi都是动态分配地址,但有可能重复分配地址,需要爬虫应用读取公网地址判断是否重复;
  4. 确保所有爬虫应用访问数据都能从Wi-Fi连接出去,这个解决很简单,将其他网卡连接禁用就可以。

三、 实现方案关键点介绍
1、 要实现通过爬虫自动复位Wi-Fi连接并分配一个地址,需要通过对应操作系统命令去进行操作,老猿使用的windows7的操作系统,使用的命令是windows相关的命令,直接调用os模块的system指令执行命令;
2、 浏览器打开使用的是webbrowser模块;
3、 使用前必须公众WiFi支持登录一次后后续登录支持自动登录,否则老猿下面的代码不能直接使用,还需要自己增加登录相关处理;
4、 读取公网IP使用的是《第14.17节 爬虫实战3: request+BeautifulSoup实现自动获取本机上网公网地址》介绍的方法;
5、 dosomething()函数是各位自己应用的代码,需要自己处理。

四、 利用公众WiFi实现公网地址池的案例代码
大家在windows下把如下内容拷贝存入文件即可实现借用公众服务WiFi地址资源池的目的:

#代码中的:
#wifinet:为无线网卡的名字,各位需要替换为自己的无线网卡名
#wifiname:各位所使用公众WiFi的名字,各位需要替换为自己的公众WiFi名
#执行机器必须有Google浏览器,如果没有相关涉及浏览器的处理代码需要修改from bs4 import BeautifulSoup
import urllib.request
import os
import webbrowser
import time 
wifiname='wifi名'  #存放wifi名
wifinet = 'MyWIFI'  #存放无线网卡名def isdupip(ipinfo):
#判断IP是否是原来已经分配过的IPtry:  fp = open(r'c:\temp\netip.log','r+')except FileNotFoundError:fp = open(r'c:\temp\netip.log','w')buff =''    else: buff = fp.read(None)if buff.find(ipinfo)>=0:print(f"本次的IP地址为以前分配过的重复公网IP地址:{ipinfo}")fp.close()return Trueelse: fp.write(ipinfo+'\n')fp.close()return Falsedef getip():
#获取本机公网IP地址header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}cookie='BAIDUID=05715D2A65E185B06ECD6CB62056F630:FG=1; BIDUPSID=05715D2A65E185B06ECD6CB62056F630; PSTM=1563498219; BD_UPN=12314353; ispeed_lsm=2; MCITY=-%3A; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BD_HOME=1; H_PS_PSSID=1429_21095_29523_29519_29721_29568_29220_29072_29640; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; delPer=0; BD_CK_SAM=1; PSINO=7; ZD_ENTRY=baidu; sug=0; sugstore=1; ORIGIN=0; bdime=0; COOKIE_SESSION=15_0_9_9_18_35_0_4_9_5_0_0_69285_0_0_0_1567933423_0_1567941823%7C9%23278256_7_1564840597%7C2; H_PS_645EC=143a70YMQeyHbLrfwaFTZLdW6usn4%2FtO8C6yxMcDcF7RjvdnVWhYHMxScchloWr5ipmN; WWW_ST=1567941827974'req = urllib.request.Request(url='https://www.baidu.com/s?ie=utf-8&mod=1&isbd=1&isid=05715D6F63032916&ie=utf-8&f=8&rsv_bp=1&rsv_idx=2&tn=baiduhome_pg&wd=IP&rsv_spt=1&oq=IP&rsv_pq=a0a4fcb40013a6aa&rsv_t=143a70YMQeyHbLrfwaFTZLdW6usn4%2FtO8C6yxMcDcF7RjvdnVWhYHMxScchloWr5ipmN&rqlang=cn&rsv_enter=0&rsv_dl=tb&inputT=4024&rsv_sug4=4105&bs=IP&rsv_sid=undefined&_ss=1&clist=&hsug=&f4s=1&csor=2&_cr1=28287',headers=header)text = urllib.request.urlopen(req,timeout=5).read().decode()soup = BeautifulSoup(text, 'lxml')ipinfo=soup.select_one('table>tr>td span.c-gap-right').string[6:]  if not   ipinfo:print("访问百度获取公网IP地址失败")  return None elif  isdupip(ipinfo):return None  else:print(f"本机公网地址为:{ipinfo}")return ipinfodef restartnet():for i in range(1,5):print(f"\n第{i}次尝试重新打开网络......")print(rf"释放wifi IP:ipconfig /release {wifinet}>C:\TEMP\net.log")os.system(rf'ipconfig /release {wifinet}>C:\TEMP\net.log')  print(f"停止wifi连接:netsh interface set interface {wifinet} disable")                          os.system(rf'netsh interface set interface {wifinet} disabled>C:\TEMP\net.log')print("尝试关闭谷歌浏览器... ")  os.system(r'taskkill /im chrome.exe >C:\TEMP\net.log')print(f"启用WiFi连接:netsh interface set interface {wifinet} enabled")os.system(rf'netsh interface set interface {wifinet} enabled>C:\TEMP\net.log')time.sleep(10)print("连接WiFi:netsh wlan connect name="+wifiname)cmd=r'netsh wlan connect name='+wifiname+r'>C:\TEMP\net.log'print(cmd)os.system(cmd)time.sleep(10)print(r"刷新WiFi地址")os.system(rf'ipconfig /renew {wifinet}>C:\TEMP\net.log')time.sleep(5)#启动浏览器访问网页,激活公众WiFi的自动登录功能 print("execute:尝试打开百度和sohu进行访问")webbrowser.open('https://www.baidu.com/', new=0,autoraise=False) time.sleep(5)webbrowser.open('http://www.sohu.com', new=0,autoraise=False) time.sleep(10)print("execute:尝试打开CSDN进行访问")webbrowser.open('https://blog.csdn.net', new=0,autoraise=False) time.sleep(5)  webbrowser.open('https://blog.csdn.net/LaoYuanPython', new=0,autoraise=False) time.sleep(20)try:ipinfo = getip()if not ipinfo:print("尝试重新连接WiFi失败,错误原因可能是重复的IP地址或访问网络失败")continueexcept Exception as e:print(f"访问网络出现异常,异常内容为:\n{e}")continueelse:return ipinfodef dosomething():print("******************请将自己要处理任务的代码放在dosomething函数中\n\n")time.sleep(5)return    def main():while  restartnet():   dosomething()main()

注意,上述代码中的cookie内容请大家参考《第14.17节 爬虫实战3: request+BeautifulSoup实现自动获取本机上网公网地址》。

执行结果截图(涂抹部分为服务商wifi名字):
在这里插入图片描述
老猿Python,跟老猿学Python!
博客地址:https://blog.csdn.net/LaoYuanPython
老猿Python博客文章目录:https://blog.csdn.net/LaoYuanPython/article/details/98245036
请大家多多支持,点赞、评论和加关注!谢谢!

这篇关于第14.18节 爬虫实战4: request+BeautifulSoup+os实现利用公众服务Wi-Fi作为公网IP动态地址池的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/801670

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

第10章 中断和动态时钟显示

第10章 中断和动态时钟显示 从本章开始,按照书籍的划分,第10章开始就进入保护模式(Protected Mode)部分了,感觉从这里开始难度突然就增加了。 书中介绍了为什么有中断(Interrupt)的设计,中断的几种方式:外部硬件中断、内部中断和软中断。通过中断做了一个会走的时钟和屏幕上输入字符的程序。 我自己理解中断的一些作用: 为了更好的利用处理器的性能。协同快速和慢速设备一起工作

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

动态规划---打家劫舍

题目: 你是一个专业的小偷,计划偷窃沿街的房屋。每间房内都藏有一定的现金,影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统,如果两间相邻的房屋在同一晚上被小偷闯入,系统会自动报警。 给定一个代表每个房屋存放金额的非负整数数组,计算你 不触动警报装置的情况下 ,一夜之内能够偷窃到的最高金额。 思路: 动态规划五部曲: 1.确定dp数组及含义 dp数组是一维数组,dp[i]代表

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

常用的jdk下载地址

jdk下载地址 安装方式可以看之前的博客: mac安装jdk oracle 版本:https://www.oracle.com/java/technologies/downloads/ Eclipse Temurin版本:https://adoptium.net/zh-CN/temurin/releases/ 阿里版本: github:https://github.com/

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo