一种爬取网易云歌曲与歌词的方法

2024-03-20 21:36
文章标签 方法 爬取 一种 网易 歌词 歌曲

本文主要是介绍一种爬取网易云歌曲与歌词的方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 概要
    • 基于Java的爬虫方法
    • 技术问题记录
    • 小结

概要

本文用于下载网易云音乐上特定歌手的歌曲和歌词

基于Java的爬虫方法

基于org.lib库爬取某歌手的前10的热歌的MP3及其歌词的代码如下：

import java.io.BufferedReader;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;import org.json.JSONArray;
import org.json.JSONObject;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.json.Json;
import org.openqa.selenium.By;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.Cookie;public class App {public static void main(String[] args) throws Exception{String artistId = "2116"; // 歌手ID，这里以陈奕迅为例，歌手id可以在网易云音乐上搜索歌手，进入歌手的主页，查看url中的id参数即为该歌手的id。int numSongs = 10; // 下载歌曲数量JSONArray songs;songs = getArtistSongs(artistId); // 获取歌手的歌曲信息// songs = getMusicInfo("断桥");// System.out.println(songs);if (songs != null) {String saveDir = "Download"; // 保存目录// 保存目录不存在则创建if (!new java.io.File(saveDir).exists()) {new java.io.File(saveDir).mkdirs();}for (int i = 0; i < songs.length() && i < numSongs; i++) {JSONObject song = songs.getJSONObject(i);String songName = song.getString("name"); // 歌曲名称songName = new String(songName.getBytes("iso-8859-1"),"utf-8");int songId = song.getInt("id"); // 歌曲IDString songUrl = "https://music.163.com/song/media/outer/url?id=" + songId +".mp3"; // 歌曲播放链接System.out.println("歌曲名称：" + songName);// System.out.println("Url下载：" + songUrl);downloadSong(songName, songUrl, saveDir); // 下载歌曲String lyric = getLyric(String.valueOf(songId)); // 获取歌词if (lyric != null && !lyric.equals("")) {FileOutputStream outputStream = new FileOutputStream(saveDir + "/" + songName + ".lrc");outputStream.write(lyric.getBytes());outputStream.close();System.out.println("歌词下载完成！");} else {System.out.println("歌词下载失败！");}}} else {System.out.println("获取歌曲信息失败！"); // 如果获取歌曲信息失败}}// 获取指定歌名的歌曲idpublic static JSONArray getMusicInfo(String keyword) {ChromeOptions chromeOptions = new ChromeOptions();chromeOptions.addArguments("--headless");chromeOptions.addArguments("--disable-gpu");WebDriver driver = new ChromeDriver(chromeOptions);// 添加CookieString url = "https://music.163.com/#/search/m/?s=" + keyword;driver.get(url);driver.switchTo().frame("g_iframe");List<WebElement> dataAll = driver.findElements(By.xpath("//div[@class='item f-cb h-flag  ']|//div[@class='item f-cb h-flag even ']"));List<String> idList = new ArrayList<>();List<String> nameList = new ArrayList<>();List<String> authorList = new ArrayList<>();for (WebElement data : dataAll) {idList.add(data.findElement(By.xpath(".//div[@class='td w0']//a")).getAttribute("href").split("=")[1]);nameList.add(data.findElement(By.xpath(".//div[@class='td w0']//b")).getAttribute("title"));authorList.add(data.findElement(By.xpath(".//div[@class='td w1']//a")).getText());}JSONArray jsonArray = new JSONArray();for (int i = 0; i < idList.size(); i++) {JSONObject jsonObject = new JSONObject();jsonObject.put("name", nameList.get(i));jsonObject.put("author", authorList.get(i));jsonObject.put("id", idList.get(i));jsonArray.put(jsonObject);}driver.quit();return jsonArray;}// 获取指定歌手的歌曲信息public static JSONArray getArtistSongs(String artistId) {String url = "https://music.163.com/api/v1/artist/songs?id=" + artistId + "&offset=0&total=true&limit=1000";try {HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection();// connection.setRequestMethod("GET");connection.setRequestMethod("POST");connection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");connection.connect();if (connection.getResponseCode() == 200) {InputStream inputStream = connection.getInputStream();StringBuilder response = new StringBuilder();int data;while ((data = inputStream.read()) != -1) {response.append((char) data);}// 打印JSONObject jsonObject = new JSONObject(response.toString());return jsonObject.getJSONArray("songs");} else {System.out.println("请求出错：" + connection.getResponseCode());return null;}} catch (IOException e) {e.printStackTrace();return null;}}// 下载歌曲public static void downloadSong(String songName, String songUrl, String saveDir) {try {URL url = new URL(songUrl);HttpURLConnection connection = (HttpURLConnection) url.openConnection();connection.setRequestMethod("GET");connection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");connection.setInstanceFollowRedirects(false); // 允许重定向connection.connect();// 获取重定向后的URLString redirectUrl = connection.getHeaderField("Location");// System.out.println("重定向后的URL：" + redirectUrl);connection = (HttpURLConnection) new URL(redirectUrl).openConnection();connection.setRequestMethod("GET");connection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome//120.0.0.0 Safari/537.36");connection.connect();int responseCode = connection.getResponseCode();System.out.println("响应码：" + responseCode);if (responseCode == HttpURLConnection.HTTP_OK) {InputStream inputStream = connection.getInputStream();FileOutputStream outputStream = new FileOutputStream(saveDir + "/" + songName + ".mp3");byte[] buffer = new byte[4096];int bytesRead;while ((bytesRead = inputStream.read(buffer)) != -1) {outputStream.write(buffer, 0, bytesRead);}outputStream.close();System.out.println(songName + " 下载完成！");} else {System.out.println(songName + " 下载失败，当前为VIP歌曲！");}} catch (IOException e) {e.printStackTrace();}}// 下载歌词public static String getLyric(String songId) {String lyric = "";try {String url = "http://music.163.com/api/song/lyric?id=" + songId + "&lv=1&tv=-1";URL urlObj = new URL(url);HttpURLConnection connection = (HttpURLConnection) urlObj.openConnection();connection.setRequestMethod("GET");connection.setRequestProperty("user-agent", "Mozilla/5.0");connection.setRequestProperty("Referer", "http://music.163.com");connection.setRequestProperty("Host", "music.163.com");int responseCode = connection.getResponseCode();if (responseCode == HttpURLConnection.HTTP_OK) {BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));StringBuilder response = new StringBuilder();String line;while ((line = reader.readLine()) != null) {response.append(line);}reader.close();JSONObject jsonObject = new JSONObject(response.toString());lyric = jsonObject.getJSONObject("lrc").getString("lyric");} else {System.out.println("Failed to fetch lyric, HTTP error code: " + responseCode);}} catch (Exception e) {e.printStackTrace();}return lyric;}
}

技术问题记录

  1. 获取MP3的连接在Python语言中可以直接得到真的URL，响应码200，在Java中报302，需要获得跳转地址。具体来说，在downloadSong方法中，代码对HTTP重定向做了处理，这是网易云音乐用于防止直接下载的一种方式。在下载歌词时，代码通过网易云音乐的API获取歌词信息。如果API发生变化，代码可能需要更新以适应新的API。
  2. 根据歌名获取ID功能尚未完全实现，需要登录账户才能搜索，易封号，尚未实现。

小结

本文用于下载网易云音乐上特定歌手的歌曲和歌词。这个程序大致做了以下几件事情：

  • 定义了一个主类App，其中包含了main方法，是程序的入口点。
  • 通过指定的歌手ID（这里使用了陈奕迅的ID作为例子），获取该歌手的歌曲信息列表。 设定了要下载的歌曲数量。
  • 如果成功获取到歌曲信息，程序会创建一个目录用于保存下载的歌曲和歌词。
  • 对于每首要下载的歌曲，程序会获取歌曲名、ID，并构造出歌曲的下载链接。 然后程序会尝试下载歌曲文件和对应的歌词。
  • 如果下载成功，会在控制台打印相关信息，如歌曲名称、歌词下载状态等。 程序使用了几个关键方法来执行任务：
    其中：
  • getArtistSongs(String artistId): 根据歌手ID获取歌手歌曲信息。
  • downloadSong(String songName, String songUrl, String saveDir): 根据歌曲名、歌曲URL和保存目录下载歌曲。
  • getLyric(String songId): 根据歌曲ID获取歌词。
  • getMusicInfo(String keyword): 用Selenium WebDriver和Chrome浏览器（在无头模式下）获取指定关键词的歌曲信息，由于需要模拟登陆这在代码中被注释掉了。

这篇关于一种爬取网易云歌曲与歌词的方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/830795。

相关文章

QT移植到RK3568开发板的方法步骤

QT移植到RK3568开发板的方法步骤

《QT移植到RK3568开发板的方法步骤》本文主要介绍了QT移植到RK3568开发板的方法步骤,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录前言一、获取SDK1. 安装依赖2. 获取SDK资源包3. SDK工程目录介绍4. 获取补丁包二
阅读更多...
Java反转字符串的五种方法总结

Java反转字符串的五种方法总结

《Java反转字符串的五种方法总结》：本文主要介绍五种在Java中反转字符串的方法,包括使用StringBuilder的reverse()方法、字符数组、自定义StringBuilder方法、直接... 目录前言方法一：使用StringBuilder的reverse()方法方法二：使用字符数组方法三：使用自
阅读更多...
java导出pdf文件的详细实现方法

java导出pdf文件的详细实现方法

《java导出pdf文件的详细实现方法》：本文主要介绍java导出pdf文件的详细实现方法,包括制作模板、获取中文字体文件、实现后端服务以及前端发起请求并生成下载链接,需要的朋友可以参考下... 目录使用注意点包含内容1、制作pdf模板2、获取pdf导出中文需要的文件3、实现4、前端发起请求并生成下载链接使
阅读更多...
Linux虚拟机不显示IP地址的解决方法(亲测有效)

Linux虚拟机不显示IP地址的解决方法(亲测有效)

《Linux虚拟机不显示IP地址的解决方法(亲测有效)》本文主要介绍了通过VMware新装的Linux系统没有IP地址的解决方法,主要步骤包括：关闭虚拟机、打开VM虚拟网络编辑器、还原VMnet8或修... 目录前言步骤0.问题情况1.关闭虚拟机2.China编程打开VM虚拟网络编辑器3.1 方法一：点击还原VM
阅读更多...
Android WebView无法加载H5页面的常见问题和解决方法

Android WebView无法加载H5页面的常见问题和解决方法

《AndroidWebView无法加载H5页面的常见问题和解决方法》AndroidWebView是一种视图组件,使得Android应用能够显示网页内容,它基于Chromium,具备现代浏览器的许多功... 目录1. WebView 简介2. 常见问题3. 网络权限设置4. 启用 JavaScript5. D
阅读更多...
Java捕获ThreadPoolExecutor内部线程异常的四种方法

Java捕获ThreadPoolExecutor内部线程异常的四种方法

《Java捕获ThreadPoolExecutor内部线程异常的四种方法》这篇文章主要为大家详细介绍了Java捕获ThreadPoolExecutor内部线程异常的四种方法,文中的示例代码讲解详细,感... 目录方案 1方案 2方案 3方案 4结论方案 1使用 execute + try-catch 记录
阅读更多...
Python中Windows和macOS文件路径格式不一致的解决方法

Python中Windows和macOS文件路径格式不一致的解决方法

《Python中Windows和macOS文件路径格式不一致的解决方法》在Python中,Windows和macOS的文件路径字符串格式不一致主要体现在路径分隔符上,这种差异可能导致跨平台代码在处理文... 目录方法 1：使用 os.path 模块方法 2：使用 pathlib 模块（推荐）方法 3：统一使
阅读更多...
SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法

SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法

《SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法》本文主要介绍了SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法,具有一定的参考价值,感兴趣的可以了解一下... 目录方法1：更改IDE配置方法2：在Eclipse中清理项目方法3：使用Maven命令行在开发Sprin
阅读更多...
JAVA SE包装类和泛型详细介绍及说明方法

JAVA SE包装类和泛型详细介绍及说明方法

《JAVASE包装类和泛型详细介绍及说明方法》：本文主要介绍JAVASE包装类和泛型的相关资料,包括基本数据类型与包装类的对应关系,以及装箱和拆箱的概念,并重点讲解了自动装箱和自动拆箱的机制,文... 目录1. 包装类1.1 基本数据类型和对应的包装类1.2 装箱和拆箱1.3 自动装箱和自动拆箱2. 泛型2
阅读更多...
C# 委托中 Invoke/BeginInvoke/EndInvoke和DynamicInvoke 方法的区别和联系

C# 委托中 Invoke/BeginInvoke/EndInvoke和DynamicInvoke 方法的区别和联系

《C#委托中Invoke/BeginInvoke/EndInvoke和DynamicInvoke方法的区别和联系》在C#中,委托（Delegate）提供了多种调用方式,包括Invoke、Begi... 目录前言一、 Invoke方法1. 定义2. 特点3. 示例代码二、 BeginInvoke 和 EndI
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2