一种爬取网易云歌曲与歌词的方法

2024-03-20 21:36
文章标签 方法 爬取 一种 网易 歌词 歌曲

本文主要是介绍一种爬取网易云歌曲与歌词的方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 概要
    • 基于Java的爬虫方法
    • 技术问题记录
    • 小结

概要

本文用于下载网易云音乐上特定歌手的歌曲和歌词

基于Java的爬虫方法

基于org.lib库爬取某歌手的前10的热歌的MP3及其歌词的代码如下：

import java.io.BufferedReader;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;import org.json.JSONArray;
import org.json.JSONObject;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.json.Json;
import org.openqa.selenium.By;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.Cookie;public class App {public static void main(String[] args) throws Exception{String artistId = "2116"; // 歌手ID，这里以陈奕迅为例，歌手id可以在网易云音乐上搜索歌手，进入歌手的主页，查看url中的id参数即为该歌手的id。int numSongs = 10; // 下载歌曲数量JSONArray songs;songs = getArtistSongs(artistId); // 获取歌手的歌曲信息// songs = getMusicInfo("断桥");// System.out.println(songs);if (songs != null) {String saveDir = "Download"; // 保存目录// 保存目录不存在则创建if (!new java.io.File(saveDir).exists()) {new java.io.File(saveDir).mkdirs();}for (int i = 0; i < songs.length() && i < numSongs; i++) {JSONObject song = songs.getJSONObject(i);String songName = song.getString("name"); // 歌曲名称songName = new String(songName.getBytes("iso-8859-1"),"utf-8");int songId = song.getInt("id"); // 歌曲IDString songUrl = "https://music.163.com/song/media/outer/url?id=" + songId +".mp3"; // 歌曲播放链接System.out.println("歌曲名称：" + songName);// System.out.println("Url下载：" + songUrl);downloadSong(songName, songUrl, saveDir); // 下载歌曲String lyric = getLyric(String.valueOf(songId)); // 获取歌词if (lyric != null && !lyric.equals("")) {FileOutputStream outputStream = new FileOutputStream(saveDir + "/" + songName + ".lrc");outputStream.write(lyric.getBytes());outputStream.close();System.out.println("歌词下载完成！");} else {System.out.println("歌词下载失败！");}}} else {System.out.println("获取歌曲信息失败！"); // 如果获取歌曲信息失败}}// 获取指定歌名的歌曲idpublic static JSONArray getMusicInfo(String keyword) {ChromeOptions chromeOptions = new ChromeOptions();chromeOptions.addArguments("--headless");chromeOptions.addArguments("--disable-gpu");WebDriver driver = new ChromeDriver(chromeOptions);// 添加CookieString url = "https://music.163.com/#/search/m/?s=" + keyword;driver.get(url);driver.switchTo().frame("g_iframe");List<WebElement> dataAll = driver.findElements(By.xpath("//div[@class='item f-cb h-flag  ']|//div[@class='item f-cb h-flag even ']"));List<String> idList = new ArrayList<>();List<String> nameList = new ArrayList<>();List<String> authorList = new ArrayList<>();for (WebElement data : dataAll) {idList.add(data.findElement(By.xpath(".//div[@class='td w0']//a")).getAttribute("href").split("=")[1]);nameList.add(data.findElement(By.xpath(".//div[@class='td w0']//b")).getAttribute("title"));authorList.add(data.findElement(By.xpath(".//div[@class='td w1']//a")).getText());}JSONArray jsonArray = new JSONArray();for (int i = 0; i < idList.size(); i++) {JSONObject jsonObject = new JSONObject();jsonObject.put("name", nameList.get(i));jsonObject.put("author", authorList.get(i));jsonObject.put("id", idList.get(i));jsonArray.put(jsonObject);}driver.quit();return jsonArray;}// 获取指定歌手的歌曲信息public static JSONArray getArtistSongs(String artistId) {String url = "https://music.163.com/api/v1/artist/songs?id=" + artistId + "&offset=0&total=true&limit=1000";try {HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection();// connection.setRequestMethod("GET");connection.setRequestMethod("POST");connection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");connection.connect();if (connection.getResponseCode() == 200) {InputStream inputStream = connection.getInputStream();StringBuilder response = new StringBuilder();int data;while ((data = inputStream.read()) != -1) {response.append((char) data);}// 打印JSONObject jsonObject = new JSONObject(response.toString());return jsonObject.getJSONArray("songs");} else {System.out.println("请求出错：" + connection.getResponseCode());return null;}} catch (IOException e) {e.printStackTrace();return null;}}// 下载歌曲public static void downloadSong(String songName, String songUrl, String saveDir) {try {URL url = new URL(songUrl);HttpURLConnection connection = (HttpURLConnection) url.openConnection();connection.setRequestMethod("GET");connection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");connection.setInstanceFollowRedirects(false); // 允许重定向connection.connect();// 获取重定向后的URLString redirectUrl = connection.getHeaderField("Location");// System.out.println("重定向后的URL：" + redirectUrl);connection = (HttpURLConnection) new URL(redirectUrl).openConnection();connection.setRequestMethod("GET");connection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome//120.0.0.0 Safari/537.36");connection.connect();int responseCode = connection.getResponseCode();System.out.println("响应码：" + responseCode);if (responseCode == HttpURLConnection.HTTP_OK) {InputStream inputStream = connection.getInputStream();FileOutputStream outputStream = new FileOutputStream(saveDir + "/" + songName + ".mp3");byte[] buffer = new byte[4096];int bytesRead;while ((bytesRead = inputStream.read(buffer)) != -1) {outputStream.write(buffer, 0, bytesRead);}outputStream.close();System.out.println(songName + " 下载完成！");} else {System.out.println(songName + " 下载失败，当前为VIP歌曲！");}} catch (IOException e) {e.printStackTrace();}}// 下载歌词public static String getLyric(String songId) {String lyric = "";try {String url = "http://music.163.com/api/song/lyric?id=" + songId + "&lv=1&tv=-1";URL urlObj = new URL(url);HttpURLConnection connection = (HttpURLConnection) urlObj.openConnection();connection.setRequestMethod("GET");connection.setRequestProperty("user-agent", "Mozilla/5.0");connection.setRequestProperty("Referer", "http://music.163.com");connection.setRequestProperty("Host", "music.163.com");int responseCode = connection.getResponseCode();if (responseCode == HttpURLConnection.HTTP_OK) {BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));StringBuilder response = new StringBuilder();String line;while ((line = reader.readLine()) != null) {response.append(line);}reader.close();JSONObject jsonObject = new JSONObject(response.toString());lyric = jsonObject.getJSONObject("lrc").getString("lyric");} else {System.out.println("Failed to fetch lyric, HTTP error code: " + responseCode);}} catch (Exception e) {e.printStackTrace();}return lyric;}
}

技术问题记录

  1. 获取MP3的连接在Python语言中可以直接得到真的URL，响应码200，在Java中报302，需要获得跳转地址。具体来说，在downloadSong方法中，代码对HTTP重定向做了处理，这是网易云音乐用于防止直接下载的一种方式。在下载歌词时，代码通过网易云音乐的API获取歌词信息。如果API发生变化，代码可能需要更新以适应新的API。
  2. 根据歌名获取ID功能尚未完全实现，需要登录账户才能搜索，易封号，尚未实现。

小结

本文用于下载网易云音乐上特定歌手的歌曲和歌词。这个程序大致做了以下几件事情：

  • 定义了一个主类App，其中包含了main方法，是程序的入口点。
  • 通过指定的歌手ID（这里使用了陈奕迅的ID作为例子），获取该歌手的歌曲信息列表。 设定了要下载的歌曲数量。
  • 如果成功获取到歌曲信息，程序会创建一个目录用于保存下载的歌曲和歌词。
  • 对于每首要下载的歌曲，程序会获取歌曲名、ID，并构造出歌曲的下载链接。 然后程序会尝试下载歌曲文件和对应的歌词。
  • 如果下载成功，会在控制台打印相关信息，如歌曲名称、歌词下载状态等。 程序使用了几个关键方法来执行任务：
    其中：
  • getArtistSongs(String artistId): 根据歌手ID获取歌手歌曲信息。
  • downloadSong(String songName, String songUrl, String saveDir): 根据歌曲名、歌曲URL和保存目录下载歌曲。
  • getLyric(String songId): 根据歌曲ID获取歌词。
  • getMusicInfo(String keyword): 用Selenium WebDriver和Chrome浏览器（在无头模式下）获取指定关键词的歌曲信息，由于需要模拟登陆这在代码中被注释掉了。

这篇关于一种爬取网易云歌曲与歌词的方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/830795。

相关文章

检查 Nginx 是否启动的几种方法

检查 Nginx 是否启动的几种方法

《检查Nginx是否启动的几种方法》本文主要介绍了检查Nginx是否启动的几种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1. 使用 systemctl 命令（推荐）2. 使用 service 命令3. 检查进程是否存在4
阅读更多...
Java方法重载与重写之同名方法的双面魔法(最新整理)

Java方法重载与重写之同名方法的双面魔法(最新整理)

《Java方法重载与重写之同名方法的双面魔法(最新整理)》文章介绍了Java中的方法重载Overloading和方法重写Overriding的区别联系,方法重载是指在同一个类中,允许存在多个方法名相同... 目录Java方法重载与重写：同名方法的双面魔法方法重载（Overloading）：同门师兄弟的不同绝
阅读更多...
MySQL字符串转数值的方法全解析

MySQL字符串转数值的方法全解析

《MySQL字符串转数值的方法全解析》在MySQL开发中,字符串与数值的转换是高频操作,本文从隐式转换原理、显式转换方法、典型场景案例、风险防控四个维度系统梳理,助您精准掌握这一核心技能,需要的朋友可... 目录一、隐式转换：自动但需警惕的&ld编程quo;双刃剑”二、显式转换：三大核心方法详解三、典型场景
阅读更多...
MySQL快速复制一张表的四种核心方法(包括表结构和数据)

MySQL快速复制一张表的四种核心方法(包括表结构和数据)

《MySQL快速复制一张表的四种核心方法(包括表结构和数据)》本文详细介绍了四种复制MySQL表（结构+数据）的方法,并对每种方法进行了对比分析,适用于不同场景和数据量的复制需求,特别是针对超大表（1... 目录一、mysql 复制表（结构+数据）的 4 种核心方法（面试结构化回答）方法 1：CREATE
阅读更多...
详解C++ 存储二进制数据容器的几种方法

详解C++ 存储二进制数据容器的几种方法

《详解C++存储二进制数据容器的几种方法》本文主要介绍了详解C++存储二进制数据容器,包括std::vector、std::array、std::string、std::bitset和std::ve... 目录1.std::vector<uint8_t>（最常用）特点：适用场景：示例：2.std::arra
阅读更多...
springboot中配置logback-spring.xml的方法

springboot中配置logback-spring.xml的方法

《springboot中配置logback-spring.xml的方法》文章介绍了如何在SpringBoot项目中配置logback-spring.xml文件来进行日志管理,包括如何定义日志输出方式、... 目录一、在src/main/resources目录下，也就是在classpath路径下创建logba
阅读更多...
SQL Server中行转列方法详细讲解

SQL Server中行转列方法详细讲解

《SQLServer中行转列方法详细讲解》SQL行转列、列转行可以帮助我们更方便地处理数据,生成需要的报表和结果集,：本文主要介绍SQLServer中行转列方法的相关资料,需要的朋友可以参考下... 目录前言一、为什么需要行转列二、行转列的基本概念三、使用PIVOT运算符进行行转列1.创建示例数据表并插入数
阅读更多...
C++打印 vector的几种方法小结

C++打印 vector的几种方法小结

《C++打印vector的几种方法小结》本文介绍了C++中遍历vector的几种方法,包括使用迭代器、auto关键字、typedef、计数器以及C++11引入的范围基础循环,具有一定的参考价值,感兴... 目录1. 使用迭代器2. 使用 auto (C++11) / typedef / type alias
阅读更多...
python项目打包成docker容器镜像的两种方法实现

python项目打包成docker容器镜像的两种方法实现

《python项目打包成docker容器镜像的两种方法实现》本文介绍两种将Python项目打包为Docker镜像的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目录简单版：（一次成功，后续下载对应的软件依赖）第一步：肯定是构建dockerfile，如下：第二步
阅读更多...
C# GC回收的方法实现

C# GC回收的方法实现

《C#GC回收的方法实现》本文主要介绍了C#GC回收的方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录 一、什么是 GC？ 二、GC 管理的是哪部分内存？ 三、GC 什么时候触发？️ 四、GC 如何判断一个对象是“垃圾
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2