58同城python委培生需要收费吗_初次小爬虫:58同城招聘信息爬取

1,通过url获取html

url="http://bj.58.com/job/pn"+pagenumber+'/?key=python&final=1&jump=1&PGTID=0d000000-0000-046d-babb-93654e2239c8&ClickID=2'

r=requests.get(url,headers=headers,timeout=30)

r.raise_for_status()

r.encoding=r.apparent_encoding

2,headers的改变

因为爬到第二面被挡住了，就加了改了个headers

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}

3,正则表达式的匹配

根据这段信息得出re表达式

res = re.compile(r'

(.*?)

.*?

4,excel的写入

wbk=xlwt.Workbook()

sheet=wbk.add_sheet('sheet 1')

sheet.write(sum, 0,j[0])

sheet.write(sum, 1,j[1])

sheet.write(sum, 2,j[2])

sheet.write(sum, 3, j[3])

5,二级网页的爬取

因为薪资在另外一个网页所以加了一个爬取函数,结合了一点bs4库

r=requests.get(url)

r.raise_for_status()

html=r.text

soup=BeautifulSoup(html,"html.parser")

temphtml = soup.find_all('div', class_="pos_base_info")

res = (r'(.*?)

tempre=re.findall(res, str(temphtml))

6,效果图

7,总结

感受:从学python到写出这个小爬虫，也花了一个月了，认识到了python的魅力，少了对过程的描述，只需要注重逻辑即可;

收获:爬虫让我对网页有了个大致的认识,对网页之间信息的传递多了一分理解

8,源码

因为未知原因已丢失