用python爬虫自动获取某网站吉他谱并保存文件

2023-11-21 04:59

本文主要是介绍用python爬虫自动获取某网站吉他谱并保存文件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        近日博主刚刚入门爬虫并且在不断学习基础知识,昨日下午室友问我能否爬出学校教务网的考试时间等信息做一个整合,博主进入教务网的主页后发现教务网全都是用js写的还有双层嵌套的网页,顿时感到无从下手,实在是学艺不精。于是弹起吉他开始摆烂,网上找谱的时候偶尔浏览到了一些页面结构比较简单的曲谱网站,于是尝试着写了一个能够自动保存吉他谱的爬虫。

        简单的实现思路就是我们进入易唱网获取一首歌曲的信息

      

 我们可以在源代码中找出标题和未经加密的曲谱图片的地址,然后爬取下载。

 在右边琴友正在浏览的吉他谱一栏中我们每次点击进入都会发现,每首歌下会有不同的超链接出现。

 那么我们就可以通过一首歌跳转到另一首歌的界面实现无限爬取,这里可以做一个递归,不过我没有去实现(爬取的数据量太大会被封ip,另外一个兴趣网站也请大家使用爬虫时不要一次几千条的爬把别人网站搞崩了

 功能如下:

在url里输入某一首歌的url链接

就可以实现爬取侧面栏目十几首歌的曲谱的效果

 

 

 

import requests
from pyquery import PyQuery as py
import os
import time
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50"
}
url = 'http://www.echangwang.com/pic/01/618.html'
def geturl(url):response = requests.get(url, headers=headers).content.decode('gbk')return response
def makeurl(response):urldata = []content=py(response)moreurl=content('#m-djph li ')for item in moreurl.items():urldata.append(item('a').attr('href'))return urldata
def get_pic(urldata):picdata=[]for url in urldata:data={}content=py(geturl(url))title = content('.hd h1').text().replace(' ', '_').replace('/','')imgurl=content('#main-article .content img')imglink=[]for item in imgurl.items():link=item.attr('src')if link[0:6]=="http:":passelse:link='http://www.echangwang.com'+linkimglink.append(link)data['imglink']=imglinkdata['name']=titlepicdata.append(data)return picdatadef save_pic(picdata):for item in picdata:path="D:\\pythonProject1"+'\\'+f"{item['name']}"mkdir(path)i=0for link in item['imglink']:i+=1with open(f'./{item["name"]}/{item["name"]+str(i)}{link[-4:]}','wb') as f:img=requests.get(link,headers=headers).contentf.write(img)print("正在保存"+item['name'])time.sleep(1)print("保存成功")passdef mkdir(path):folder = os.path.exists(path)if not folder:  # 判断是否存在文件夹如果不存在则创建为文件夹os.makedirs(path)  # makedirs 创建文件时如果路径不存在会创建这个路径print"---  new folder...  ---"print"---  OK  ---"else:print"---  There is this folder!  ---"if __name__ == '__main__':urldata=makeurl(geturl(url))save_pic(get_pic(urldata))

 注意修改当前py文件所在路径为path

 

 

 

这篇关于用python爬虫自动获取某网站吉他谱并保存文件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/399975

相关文章

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

SpringBoot+Docker+Graylog 如何让错误自动报警

《SpringBoot+Docker+Graylog如何让错误自动报警》SpringBoot默认使用SLF4J与Logback,支持多日志级别和配置方式,可输出到控制台、文件及远程服务器,集成ELK... 目录01 Spring Boot 默认日志框架解析02 Spring Boot 日志级别详解03 Sp

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文