Ubuntu下python的BeautifulSoup和rsa安装方法---信息检索project2部分:微博爬取所需python包

本文主要是介绍Ubuntu下python的BeautifulSoup和rsa安装方法---信息检索project2部分:微博爬取所需python包,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近因为《信息检索》第二个project,需要爬取微博数据,然后再处理。师兄给了代码,让慢慢爬,但是在ubuntu下,少了很多python软件包。需要安装。

1.首先运行时,说少了python,BeautifulSoup包,用来解析html文件神奇,这么重要的包怎么能缺少呢,百度ubuntu python BeautifulSoup后,看博客后找到方法:

先安装easy_install工具:

 再用easy_install安装:

easy_install BeautifulSoup

若是还没有安装easy_install,在ubuntu下,会自动提示按怎样的命令去安装。

2.继续运行,说是缺少rsa包,想到是师兄在pdf文档里提到用pip安装一些通过pip按张rsa。运行:

pip install -r requirements.txt
#不行,需要在root权限,换
sudo pip install -r requirements.txt

 

安装成功,执行源代码,可行。

3.另外的话,缺少display的话,用来展示验证码的。通过以下命令安装:

sudo apt-get install imagemagick

若是不能安装display的话,注释掉weibo/crawler/toolkit/accountlib.py第178行变量proc和第182行proc.kill()

#proc = subprocess.Popen(['display', filename])		#第178行
self.loginpostdata['pcid'] = pcid
self.loginpostdata['door'] = raw_input(u'请输入验证码:')
os.remove(filename)
#proc.kill()										#第182行

 

但与之相对的,在运行时,需要在文件夹里打开抓取的验证码图片,在终端手动输入验证码。

有一点挺疑惑的是,队友直接没有安装display,直接使用

python main.py display

连验证码都没有输入,直接能够进入爬取部分,而且能够爬取出数据,吓尿。

4.有的时候在抓取文件,但是没有下载,坑爹,没想到这问题,还没解析代码就那么运行着,还以为已经在抓取呢。在自己的笔记本centos6.5下抓取的时候甚是麻烦而且没成功。换了实验室里ubuntu14.04.1LTS版本,改好了一下参数终于在怕去数据了,下一步要分析数据,进行后续任务了。

5.爬取微博的时候,速度可能有些慢,平均下来爬18页/min,要看网速了。不过可以改crawler/config.py参数

begin_time="2012-11-1 00:00:00"
end_time="2014-11-1 00:00:00"

把用户数据降将为一年,但是相应的,在后续分析用户数据时,少了的话,当然也是有一定的影响了。而已经爬取的部分不会再爬取。

转载请认证:http://blog.csdn.net/u010454729/article/details/40656087

这篇关于Ubuntu下python的BeautifulSoup和rsa安装方法---信息检索project2部分:微博爬取所需python包的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/990989

相关文章

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

SQL中redo log 刷⼊磁盘的常见方法

《SQL中redolog刷⼊磁盘的常见方法》本文主要介绍了SQL中redolog刷⼊磁盘的常见方法,将redolog刷入磁盘的方法确保了数据的持久性和一致性,下面就来具体介绍一下,感兴趣的可以了解... 目录Redo Log 刷入磁盘的方法Redo Log 刷入磁盘的过程代码示例(伪代码)在数据库系统中,r

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

Python中的getopt模块用法小结

《Python中的getopt模块用法小结》getopt.getopt()函数是Python中用于解析命令行参数的标准库函数,该函数可以从命令行中提取选项和参数,并对它们进行处理,本文详细介绍了Pyt... 目录getopt模块介绍getopt.getopt函数的介绍getopt模块的常用用法getopt模

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Python如何精准判断某个进程是否在运行

《Python如何精准判断某个进程是否在运行》这篇文章主要为大家详细介绍了Python如何精准判断某个进程是否在运行,本文为大家整理了3种方法并进行了对比,有需要的小伙伴可以跟随小编一起学习一下... 目录一、为什么需要判断进程是否存在二、方法1:用psutil库(推荐)三、方法2:用os.system调用

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》:本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登