[Python学习] 简单网络爬虫抓取博客文章及思想介绍

但是CSDN会禁止这样的行为,服务器禁止爬取站点内容到别人的网上去.我们的博客文章经常被其他网站爬取,但并没有申明原创出处,还请尊重原创.它显示的错误"403 Forbidden".
PS:据说模拟正常上网能实现爬取CSDN内容,读者可以自己去研究,作者此处不介绍.参考(已验证):
http://blog.csdn.net/eastmount/article/details/http://www.yihaomen.com/article/python/210.htmhttp://blog.csdn.net/eastmount/article/details/
http://www.2cto.com/kf/201405/304829.htmlhttp://blog.csdn.net/eastmount/article/details/
第二步 获取自己所有的文章
这里只讨论思想,假设我们第一篇文章已经获取成功.下面使用Python的find()从上一个获取成功的位置继续查找下一篇文章链接,即可实现获取第一页的所有文章.它一页显示的是20篇文章,最后一页显示剩下的文章.
那么如何获取其他页的文章呢?http://blog.csdn.net/eastmount/article/details/

我们可以发现当跳转到不同页时显示的超链接为:http://blog.csdn.net/eastmount/article/details/

这思想就非常简单了,其过程简单如下:
for(int i=0;i<4;i++) //获取所有页文章
for(int j=0;j<20;j++) //获取一页文章 注意最后一页文章篇数
GetContent(); //获取一篇文章 主要是获取超链接http://blog.csdn.net/eastmount/article/details/
同时学习过通过正则表达式,在获取网页内容图片过程中格外方便.如我前面使用C#和正则表达式获取图片的文章:http://blog.csdn.net/eastmount/article/details/12235521http://blog.csdn.net/eastmount/article/details/

二.爬取新浪博客http://blog.csdn.net/eastmount/article/details/http://blog.csdn.net/eastmount/article/details/

上面介绍了爬虫的简单思想,但是由于一些网站服务器禁止获取站点内容,但是新浪一些博客还能实现.这里参照"51CTO学院 智普教育的python视频"获取新浪韩寒的所有博客.
地址为:http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html
采用同上面一样的方式我们可以获取每个

中包含着一篇文章的超链接,如下图所示:

此时通过Python获取一篇文章的代码如下:http://blog.csdn.net/eastmount/article/details/

可以显示获取的文章,现在需要获取一篇文章的超链接,即：
《论电影的七个元素》——关于我对电…
在没有讲述正则表达式之前使用Python人工获取超链接http,从文章开头查找第一个"<a title",然后接着找到"href="和" .html"即可获取"http:="" blog.sina.com.cn="" s="" blog_4701280b0102eo83.html".代码如下:http:="" blog.csdn.net="" eastmount="" article="" details="" <="" strong="">