爬虫入门--Python利用selenium下载中央广播电台FM广播节目

本文主要是介绍爬虫入门--Python利用selenium下载中央广播电台FM广播节目，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文主要利用爬虫技术，来自动下载网页上音频数据

参考资料：

关于python入门，可以学习在imooc网课上搜索Python开发简单爬虫

关于如何加载下一页，参考博客python利用beautifulsoup+selenium自动翻页抓取网页内容

简单爬虫知识

主要分为爬虫调度器，URL管理器，网页下载器，网页解析器，价值数据

爬虫调度器：来开启抓取数据
URL管理器：主要来负责管理访问的URL，包括为了防止重复访问用Set数据结构来保存，已经访问过的URL和未访问过的URL
网页下载器：用来获取网页内容，常用的urllib2和selenium库，其中selenium库可以调用网页交互操作和js加载后的数据，本文用selenium库来获取网页数据
网页解析器：主要从网页内容分解出我们需要的内容，如访问的url，文本内容，常用的库为BeautifulSoup库，也常用re库开正则查找
价值数据：为我们需要的数据

任务

央广或者地方台广播中有许多优秀的作品，比如经济广播中有一个节目《每当夜晚来临的时候》，我们想要获得之前的节目时，幸运的是，央广网主页时提供以往节目，我们手动下载比较多，耗时耗力，我们就可以利用爬虫技术，从网页中解析获得下载URL------->下载文件-------->加载下一页-------->解析下载URL------->.......

节目地址：每当夜晚来临的时候

实现

网页下载器

采用selenium，使用PhantomJS时需要下载相关的程序，下载地址，然后放在python的Scripts文件夹下

from selenium import webdriver
driver = webdriver.PhantomJS()
url='http://www.radio.cn/pc-portal/sanji/zhibo_2.html?channelname=2&name=520799&title=radio#'
driver.get(url)
print(driver.page_source)

打印出网页内容，就可以看到html内容

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xml:lang="utf-8" lang="utf-8" style="position: relative; height: 100%;"><head><script type="text/javascript" src="http://bdimg.share.baidu.com/static/api/js/view/share_view.js?v=3ae6026d.js"></script><script type="text/javascript" src="http://bdimg.share.baidu.com/static/api/js/share/share_api.js?v=226108fe.js"></script><meta http-equiv="Content-Type" content="text/html; charset=utf-8"><title>中国广播Radio.cn</title><meta name="filetype" content="0"><meta name="publishedtype" content="1"><meta name="pagetype" content="1"><meta name="catalogs" content="radio10"><meta name="contentid" content="520799"><meta name="publishdate" content="">

网页解析器

主要是来获得下载链接，在网页上选中“下载”右键选择检查，可以得到我们需要的节点

<a href="#" onclick="downLiveRecord('cnvod.cnr.cn/audio2018/live/jjzs/201903/mdywlldsh_20190322231021jjzs_h.m4a','每当夜晚来临的时候');" style="color:#4876FF">下载</a>

利用 BeautifulSoup来查找该节点

html_cont = driver.page_source
soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')
links = soup.find_all('a', onclick=re.compile(r"downLiveRecord"))
html_code = links[0]
print(links[0])

根据上面可以得到结果

<a href="#" onclick="downLiveRecord('cnvod.cnr.cn/audio2018/live/jjzs/201903/mdywlldsh_20190322231021jjzs_h.m4a','每当夜晚来临的时候');" style="color:#4876FF">下载</a>

利用正则查找，找到下载url

results = re.findall(r"cnvod.*m4a",str(html_code))
print(results)
words = results[0].split('/')
folder_name = words[-2]
file_name = words[-1]
print(folder_name, file_name)

可以得到下载链接，以及其他的信息

['cnvod.cnr.cn/audio2018/live/jjzs/201903/mdywlldsh_20190322231021jjzs_h.m4a']
201903 mdywlldsh_20190322231021jjzs_h.m4a

URL管理器

可以将上面的url用set管理起来等操作，这里说一下怎么加载下一页

driver.find_element_by_xpath("//a[contains(text(),'下一页')]").click()# selenium的xpath用法，找到包含“下一页”的a标签去点击

音频下载

down_url = r"http://"+str(results[0])
r = requests.get(down_url,stream=True) #stream=True #开启时时续续的下载的方式
total_size = int(r.headers['Content-Length'])
temp_size = 0
with open(file_name, 'wb') as f:for chunk in r.iter_content(chunk_size=1024): #chunk_size #设置每次下载文件的大小temp_size += len(chunk)f.write(chunk)  #每一次循环存储一次下载下来的内容f.flush()done = int(50 * temp_size / total_size)sys.stdout.write("\r[%s%s] %d%%" % ('█' * done, ' ' * (50 - done), 100 * temp_size / total_size))sys.stdout.flush()

完整代码

import os
import re
import sys
import time
import requests
from bs4 import BeautifulSoup
from selenium import webdriverdef download(file_name, down_url):r = requests.get(down_url,stream=True)total_size = int(r.headers['Content-Length'])temp_size = 0try:with open(file_name, 'wb') as f:for chunk in r.iter_content(chunk_size=1024): #chunk_size #设置每次下载文件的大小temp_size += len(chunk)f.write(chunk)  #每一次循环存储一次下载下来的内容f.flush()done = int(50 * temp_size / total_size)sys.stdout.write("\r[%s%s] %d%%" % ('█' * done, ' ' * (50 - done), 100 * temp_size / total_size))sys.stdout.flush()   except:print('download failed') def main(url):driver = webdriver.PhantomJS()#url='http://www.radio.cn/pc-portal/sanji/zhibo_2.html?channelname=2&name=520799&title=radio#'driver.get(url)page = 0while page < 51:soup = BeautifulSoup(driver.page_source, "html.parser", from_encoding='utf-8')links = soup.find_all('a', onclick=re.compile(r"downLiveRecord"))for link in links:url = re.findall(r"cnvod.*m4a",str(link))print("page = %d, %s" % (page, url[0]))words = url[0].split('/')folder_name = words[-2]file_name = words[-1]#下载if os.path.exists(folder_name) == False:os.makedirs(folder_name)file_name = folder_name + r'/'+ file_namedown_url = r"http://"+str(url[0])download(file_name, down_url)#下一页try:driver.find_element_by_xpath("//a[contains(text(),'下一页')]").click()# selenium的xpath用法，找到包含“下一页”的a标签去点击except:print('load next page failed')page = page + 1time.sleep(2)print('finish')if __name__ == "__main__":root_url = "http://www.radio.cn/pc-portal/sanji/zhibo_2.html?channelname=2&name=520799&title=radio#"main(root_url)