本文主要是介绍Python爬虫(一)--城市公交网络站点数据的爬取,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
作者:WenWu_Both
出处:http://blog.csdn.net/wenwu_both/article/
版权:本文版权归作者和CSDN博客共有
转载:欢迎转载,但未经作者同意,必须保留此段声 必须在文章中给出原文链接;否则必究法律责任
**爬取的站点:**http://beijing.8684.cn/
(1)环境配置,直接上代码:
# -*- coding: utf-8 -*-import requests ##导入requests
from bs4 import BeautifulSoup ##导入bs4中的BeautifulSoup
import osheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'}
all_url = 'http://beijing.8684.cn' ##开始的URL地址
start_html = requests.get(all_url, headers=headers)
#print (start_html.text)
Soup = BeautifulSoup(start_html.text, 'lxml') # 以lxml的方式解析html文档
(2)
这篇关于Python爬虫(一)--城市公交网络站点数据的爬取的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!