python3爬虫（未完结）

本文主要是介绍python3爬虫（未完结），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一个简单的例子：爬取自己的csdn博客，统计每篇博客的访问量，制作一个柱状图，以访问量从大到小的方式显示。

1. 首先从“个人主页”爬取所有所有文章的链接

        1.1 打开个人主页，右键->检查：可以看到每篇文章的链接挂在哪个标签的哪个属性下( <article>标签下的<a>标签中的href属性值即为每篇文章的链接 )

        1.2 代码提取网页中的所有文章ip（我们可以发现，当页面内容过多时，需要下拉"加载"，才能显示所有内容，所以这里需要一个工具模拟浏览器行为，自动滚动页面以加载更多内容。待完善）

from bs4 import BeautifulSoup  #pip3 install beautifulsoup4
from urllib.request import urlopenhomePage_url="your_blog_link"  #你的csdn个人主页链接
homePage_html=urlopen(homePage_url).read().decode('utf-8')
soup=BeautifulSoup(homePage_html,features='lxml')#1.查找所有的<article>标签
li_articles=soup.find_all('article')#2.取出所有<article>标签下<a>中的href属性值
article_urls=[]
for item in li_articles:link=item.find_all('a')article_urls.append(link[0]['href'])print(link[0]['href'])

        1.3 结果如下：

        

这篇关于python3爬虫（未完结）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---