Python Scrapy 爬虫小教程1：爬取智联招聘java工程师招聘信息

Scrapy爬取智联招聘java工程师招聘信息
爬取此页面的招聘信息：

***************************点击此处直达原网页

创建一个scrapy 项目：
打开Anaconda Prompt

输入代码：

scrapy startproject crapyDemo

enter:

创建成功！
打开Pycharm:
file->open:
找到你创建的crapyDemo的位置，点击OK导入,在spider下新建spiderexample.py文件。

spiderexample.py代码：

import scrapyclass SpiderexampleSpider(scrapy.Spider):name = 'spiderexample'start_urls = ['https://m.zhaopin.com/sou/undefined--?keyword=java&provinceCode=undefined&city=undefined']def parse(self, response):detailxpath='//div[@class="title-info"]';items=response.xpath(detailxpath);for item in items:job=item.xpath('./div/text()').extract_first();jobsal=item.xpath('./div[2]/div[1]/text()').extract_first();if job is not None:print("职位："+job+"----工资："+jobsal)

打开Anaconda Prompt，选定你创建的项目scrapyDemo

cd scrapyDemo

输入：

scrapy srawl scrapydemo

enter,
运行：

爬取成功。