爬虫应用——寻找乔丹相关10条URL

2024-03-27 22:38

本文主要是介绍爬虫应用——寻找乔丹相关10条URL,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

直接百度乔丹的URL是这样的:
root-url:

http://baike.baidu.com/link?url=Htp0lISd4ld46oenEs4HvYh13u8iTht9YxBpUY8e3QECSsxXYQRg_yr7R_wvRos3kWflwekkcn_5VuZsgEhFPY_oQAKj8xla3F6MXbCoDnirERpJEyVuHZ3uGGvpmfwVz_rsdygPH5wirnODhhSv2_

恩,的确非常恶心。我们需要寻找一个root-url,但是这样恶心的URL确实不能正常工作。
然后我用了一个笨办法,直接百度科比,然后找到乔丹的链接,查看元素并作为HTML编辑,OK,本尊出现:

http://baike.baidu.com/view/19096.htm

有了它后,就可以进行分析和编码了。
从之前的学习记录看,我们至少需要调度器spider_man,URL管理器url_manager,HTML解析器html_parser,HTML下载器html_downloader
计划输出结果保存成一个文件,所以,我们的文件结构是:

  • spider_man.py
  • url_manager.py
  • html_downloader.py
  • html_parser.py
  • outputer.py

查看网页上其他链接的格式,右击——查看元素——作为HTML编辑:

<a target="_blank" href="/view/32594.htm">芝加哥公牛队</a>

学习了BeautifulSoup官网上相关的筛选语法后,为了精确的定位我们想要的信息,可以这样:

new_urls=set()#<a target="_blank" href="/view/32594.htm">芝加哥公牛队</a>links=soup.find_all('a',href=re.compile(r"/view/\d+\.htm"))   #正则匹配
links=soup.find_all(target="_blank")

编码部分:
html_downloader.py:

#coding:utf8
import urllib2class HtmlDownloader(object):def download(self,url):if url is None:return Noneresponse = urllib2.urlopen(url)if response.getcode()!=200:return None#print response.read()return response.read()

outputer.py:

#coding:utf8class HtmlOutputer(object):def __init__(self):self.datas=[]def collect_data(self,data):if data is None:returnself.datas.append(data)def output_html(self):fout=open('output.html','w')fout.write('<html>')fout.write('<body>')fout.write('<table border="1px solid #000">')for data in self.datas:fout.write('<tr>')fout.write('<td>%s</td>' %data['url'])fout.write('<td>%s</td>' %data['title'].encode('utf-8'))fout.write('</tr>')fout.write('</table>')fout.write('</body>')fout.write('</html>')fout.close()

html_parser.py:

#coding:utf8
from bs4 import BeautifulSoup
import re
import urlparseclass HtmlParser(object):def _get_new_urls(self,page_url,soup):new_urls=set()#<a target="_blank" href="/view/32594.htm">芝加哥公牛队</a>links=soup.find_all('a',href=re.compile(r"/view/\d+\.htm"))   #正则匹配links=soup.find_all(target="_blank")for link in links:new_url=link['href']new_full_url=urlparse.urljoin(page_url,new_url)new_urls.add(new_full_url)#print new_urlsreturn new_urlsdef _get_new_data(self,page_url,soup):res_data={}res_data['url']=page_url#<dd class="lemmaWgt-lemmaTitle-title">#<h1>迈克尔·乔丹</h1>title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")res_data['title']=title_node.get_text()return res_data        def parse(self,page_url,html_cont):if page_url is None or html_cont is None:returnsoup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')#print soupnew_urls=self._get_new_urls(page_url,soup)print new_urlsnew_data=self._get_new_data(page_url,soup)return new_urls,new_data

url_manager.py:

#coding:utf8class UrlManager(object):def __init__(self):self.new_urls=set()self.old_urls=set()def add_new_url(self,url):if url is None:returnif url not in self.new_urls and url not in self.old_urls:self.new_urls.add(url)def add_new_urls(self,urls):if urls is None or len(urls)==0:returnfor url in urls :self.add_new_url(url)def has_new_url(self):return len(self.new_urls)!=0def get_new_url(self):new_url=self.new_urls.pop()self.old_urls.add(new_url)return new_url

spider_man.py:

#coding: utf8
import url_manager,html_downloader,html_outputer,html_parserclass SpiderMain(object):"""docstring for SpiderMain"""def __init__(self):self.urls=url_manager.UrlManager()self.downloader=html_downloader.HtmlDownloader()self.parser=html_parser.HtmlParser()self.outputer=html_outputer.HtmlOutputer()def craw(self,root_url):count=1   #爬取第几个URLself.urls.add_new_url(root_url)while self.urls.has_new_url():try:new_url=self.urls.get_new_url()print 'NO.%d: %s' % (count,new_url)html_cont=self.downloader.download(new_url)# 解析得到URL和数据new_urls, new_data=self.parser.parse(new_url,html_cont)print new_urls#print new_dataself.urls.add_new_urls(new_urls)self.outputer.collect_data(new_data)if count==20:breakcount=count+1except Exception, e:print e#print countself.outputer.output_html()if __name__ == "__main__":root_url="http://baike.baidu.com/view/19096.htm"obj_spider=SpiderMain()obj_spider.craw(root_url);

获得结果:



http://baike.baidu.com/view/19096.htm迈克尔·乔丹
http://baike.baidu.com/view/1091423.htm杰里·斯隆
http://baike.baidu.com/view/62675.htm卡尔·马龙
http://baike.baidu.com/view/571202.htm公国
http://baike.baidu.com/subview/4466937/15093391.htm赛季
http://baike.baidu.com/view/582.htmNBA
http://baike.baidu.com/view/1795775.htm篮圈
http://baike.baidu.com/view/1124818.htm迈克尔·里德
http://baike.baidu.com/view/36806.htm蒂姆·邓肯
http://baike.baidu.com/view/1140.htmNBA季前赛

这篇关于爬虫应用——寻找乔丹相关10条URL的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/853625

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

sqlite3 相关知识

WAL 模式 VS 回滚模式 特性WAL 模式回滚模式(Rollback Journal)定义使用写前日志来记录变更。使用回滚日志来记录事务的所有修改。特点更高的并发性和性能;支持多读者和单写者。支持安全的事务回滚,但并发性较低。性能写入性能更好,尤其是读多写少的场景。写操作会造成较大的性能开销,尤其是在事务开始时。写入流程数据首先写入 WAL 文件,然后才从 WAL 刷新到主数据库。数据在开始

zoj3820(树的直径的应用)

题意:在一颗树上找两个点,使得所有点到选择与其更近的一个点的距离的最大值最小。 思路:如果是选择一个点的话,那么点就是直径的中点。现在考虑两个点的情况,先求树的直径,再把直径最中间的边去掉,再求剩下的两个子树中直径的中点。 代码如下: #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

【C++高阶】C++类型转换全攻略:深入理解并高效应用

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:C++ “ 登神长阶 ” 🤡往期回顾🤡:C++ 智能指针 🌹🌹期待您的关注 🌹🌹 ❀C++的类型转换 📒1. C语言中的类型转换📚2. C++强制类型转换⛰️static_cast🌞reinterpret_cast⭐const_cast🍁dynamic_cast 📜3. C++强制类型转换的原因📝