程序设计十一：多线程获取歌单

程序设计十一：多线程获取歌单

一、获取歌单ID

使用生产-消费模型，函数producer获取歌单的id，调用requests模块获取分类的页面，使用Beautifulsoup模块提取出歌单id并传入列表

def producer():url_main = 'https://music...'for i in range(0, 1295, 35):url = url_main + str(i)response = requests.get(url=url)html = response.textsoup = BeautifulSoup(html, 'html.parser')# 获取包含歌单详情页网址的标签ids = soup.select('.dec a')# 获取idfor j in range(len(ids)):id = ids[j]['href']q.append(id[13:])

二、获取歌单的详细信息

函数consumer根据生产者传入的id，组合字符串，并调用requests模块获取歌单页面，使用Beautifulsoup模块提取出相关信息。

但该线程运行时，列表还为空时，令该线程sleep0.5秒，等列表中有数据之后再获取处理，代码如下：

def consumer():print('consumer thread start...')# 获取封面图片、歌单标题、创建者id、创建者昵称、介绍、歌曲数量、播放量、添加到播放列表次数、分享次数、评论数while len(q) == 0:time.sleep(0.5)id = q.pop()url = 'https://music...' + idprint(url)response = requests.get(url)html = response.textsoup = BeautifulSoup(html, 'html.parser')# 歌单页面playlist = soup.select('#m-playlist')[0]# 封面图片、歌单标题、创建者id、创建者昵称、介绍、歌曲数量、播放量、添加到播放列表次数、分享次数、评论数img_url = playlist.select('.j-img')[0]['data-src']title = playlist.h2.textuser_id = playlist.select('.name a')[0]['href'][11:]user_name = playlist.select('.name a')[0].textintro = playlist.select('#album-desc-more')[0].textnumber = playlist.select('#playlist-track-count')[0].textplay_count = playlist.select('#play-count')[0].textcollect = playlist.select('.u-btni.u-btni-fav')[0].textshare = playlist.select('.u-btni.u-btni-share')[0].textcomment = playlist.select('.u-btni.u-btni-cmmt')[0].textimg = requests.get(url=img_url)# 存储歌单封面图片if os.path.exists('images') == False:os.mkdir('images')f = open('images/playlist_' + id + ".jpg", "wb")f.write(img.content)f.close()# 存储歌单信息row = [title, user_id, user_name, intro, number, play_count[1:-1], collect[1:-1], share[1:-1], comment[1:-1]]if os.path.exists('song_info.csv') == False:with open('song_info.csv', 'w', encoding='utf-8') as f:writer = csv.writer(f)writer.writerow(['歌单标题', '创建者id', '创建者昵称', '介绍', '歌曲数量', '播放量', '添加到播放列表次数','分享次数', '评论数'])with open('song_info.csv', 'a', encoding='utf-8') as f:writer = csv.writer(f)writer.writerow(row)

三、多线程构建

构建一个生产者线程，37个消费者线程，每当生产者从分类页面获取一个id，就传入列表；消费者线程从列表中取出并获取相关页面的信息，代码如下：

if __name__ == '__main__':c_list = []p = Thread(target=producer)for i in range(37):c = Thread(target=consumer)c_list.append(c)p.start()for c in c_list:c.start()for c in c_list:c.join()print('main end')

四、获取结果

获取的封面图片如下（此处不展示）：

生产images文件夹，并按照’playlist_id’的方式组织命名，生成如下文件：

获取到的信息如下（包括：获取封面图片、歌单标题、创建者id、创建者昵称、介绍、歌曲数量、播放量、添加到播放列表次数、分享次数、评论数）：

使用excel打开该csv文件，更清晰地展示了歌单及相关信息：