Python爬虫（一）--城市公交网络站点数据的爬取

作者：WenWu_Both
出处：http://blog.csdn.net/wenwu_both/article/
版权：本文版权归作者和CSDN博客共有
转载：欢迎转载，但未经作者同意，必须保留此段声 必须在文章中给出原文链接；否则必究法律责任

**爬取的站点：**http://beijing.8684.cn/

（1）环境配置，直接上代码：

# -*- coding: utf-8 -*-import requests ##导入requests
from bs4 import BeautifulSoup ##导入bs4中的BeautifulSoup
import osheaders =  {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'}
all_url = 'http://beijing.8684.cn'  ##开始的URL地址
start_html = requests.get(all_url, headers=headers) 
#print (start_html.text)
Soup = BeautifulSoup(start_html.text, 'lxml') # 以lxml的方式解析html文档

（2）