本文主要是介绍#python学习笔记#使用python爬取拉勾网职位信息(一):环境配置及库安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
鄙人作为一个Android开发者,经常想私下做一些小项目,需要一些后台的配合,自己的项目用servlet和sql语句也能凑合,但缺少后台数据就比较难办了(假数据看起来很违和,而且没有实际意义);听闻python可以做网络爬虫爬取数据,于是趁着这段时间开发任务不重,通过python实现了爬取网站数据的功能。
Python简介:
请自行百度...
Python安装:
1.先去官网下载python,根据自己的需要选择对应的版本:网址
2.解压下载下来的压缩包,然后根据提示进行安装。
3.设置环境变量,与java等环境变量类型,如图:
4.做完这些之后,python就算配置完成了,可以在控制行检测一下是否安装成功:
到此python就算配置成功了。
python编译工具:
python可以直接在命令行中进行编译,但是作为jetbrains的粉丝,当然不能错过jetbrains发布的python编译工作---PyCharm啦!
至此python的基本编译环境已经配置完成了,接下来需要导入一些编写爬虫程序的库了。
BeautifulSoup
在我看来,所谓爬虫就是将html抓取下来,然后分析其页面上的数据,python自带了html解析器--html parser,个人感觉用起来比较繁琐,因此推荐大家使用BeautifulSoup,功能比较强大,而且使用起来也比较方便。python安装第三方库还是比较方便的,有两种安装方式:
1.可以直接在命令行输入:pip install beautifulsoup4(python 2.0+用户)或者pip3 install beautifulsoup4(python 3.0+用户),之后等待安装完成即可。
2.去官网下载安装包,在命令行中先定位到安装包作为文件夹,执行python setup.py install即可
xlwt
xlwt是一款导出Excel表格的第三方python库,安装它是为了将获得的数据导出,方便查看,安装方法与上面类似。
好了,准备工作就都做好了,接下来,就该上代码了!
Python参考资料:
Python 基础教程 (看原文文档当然是最好,不过这个也不错,可以当字典使用)
玩蛇网(顾名思义)
这篇关于#python学习笔记#使用python爬取拉勾网职位信息(一):环境配置及库安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!