Webmagic 爬虫之通过cookie进行页面登录

本文主要是介绍Webmagic 爬虫之通过cookie进行页面登录，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

介绍：

首先先来介绍下webmagic这个爬虫框架，这个框架是大佬黄义华开源的爬虫框架，用起来非常的顺手，跟之前用python中的scrapy框架一样，层次非常清晰，可扩展性也是非常的好。文档也比较齐全，并且现在还在一直更新。

优点就说这些，但是也有一些不足，在我学习的过程中，遇到了一些问题，比如就是没有关于登录的例子，并且没有google出相关的内容，这里是自己摸索的出的一种方法。

在使用爬虫的过程中，有的网站的信息必须是要登录后才能查看的，这里就拿世纪佳缘网作为例子，来进行一个登陆的测试。

首先在没有用户登陆的情况下，我们是看不到世纪佳缘网上用户的一些经济信息的，如下图所示：

这里写图片描述

这是登陆后的页面，就可以看到用户的经济方面的信息了，同时使用chrome看到页面的cookie信息。

这里写图片描述

如果我想要爬取到这些信息，肯定是要进行登陆才可以的，这里就要获取到cookie的信息，webmagic中整合了Selenium这个模拟浏览器，来帮助我们进行登陆并，但是效率会有点慢，也可以使用phantomjs。

首先先引入webmagic对Selenium的整合jar包，这里使用的是maven管理。

    </dependency><dependency><groupId>us.codecraft</groupId><artifactId>webmagic-selenium</artifactId><version>0.5.2</version></dependency>

从上面的图可以看到cookie的信息非常的多，而登录需要的cookie就在其中，而且每个页面中的cookie也不是一样，我们不可能一个个去试，最要命的是webmagic中的site 没有 scrapy中的setCookies()函数，一次只能添加一个cookie信息。要想添加全部的cookie信息，就要使用下面的方法.

因为要模拟浏览器，所以要下载个当前浏览器的驱动，我使用的chrome
这是驱动的下载地址http://download.csdn.net/detail/leoe_/9903768，如果使用的是其他的浏览器，可以自行去搜索下，让后把驱动放在 C:\Windows\System32 文件下就可以了。

废话不多说，上代码，如果没有接触过webmagic和Selenium可以先了解下，再去运行下面的代码。

package org.will.WebMagic;import java.util.List;
import java.util.Set;import org.openqa.selenium.By;
import org.openqa.selenium.Cookie;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;public class Miai implements PageProcessor {private Site site = Site.me().setRetryTimes(3).setSleepTime(0).setTimeOut(3000);//用来存储cookie信息private Set<Cookie> cookies;@Overridepublic void process(Page page) {    //获取用户的idpage.putField("", page.getHtml().xpath("//div[@class='member_info_r yh']/h4/span/text()"));//获取用户的详细信息List<String> information = page.getHtml().xpath("//ul[@class='member_info_list fn-clear']//li/div[@class='fl pr']/em/text()").all();page.putField("information = ", information);}//使用 selenium 来模拟用户的登录获取cookie信息public void login(){WebDriver driver = new ChromeDriver();driver.get("http://login.jiayuan.com/?channel=200&position=204&pre_url=http%3A%2F%2Fsearch.jiayuan.com%2Fv2%2F");driver.findElement(By.id("login_email")).clear();//在******中填你的用户名driver.findElement(By.id("login_email")).sendKeys("*******");driver.findElement(By.id("login_password")).clear();//在*******填你密码driver.findElement(By.id("login_password")).sendKeys("*******");//模拟点击登录按钮driver.findElement(By.id("login_btn")).click();//获取cookie信息cookies = driver.manage().getCookies();driver.close(); }@Overridepublic Site getSite() { //将获取到的cookie信息添加到webmagic中for (Cookie cookie : cookies) { site.addCookie(cookie.getName().toString(),cookie.getValue().toString());}return site.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1");           }public static void main(String[] args){Miai miai = new Miai();//调用selenium，进行模拟登录miai.login();Spider.create(miai).addUrl("http://www.jiayuan.com/164830633").run();}
}