Python：豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】

2024-09-09 04:18
文章标签 python 数据 可视化 过程 爬虫 附带 报告 数据处理 数据分析 ppt 商业 电影 完整 豆瓣 取全

本文主要是介绍Python：豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

 

**爬取豆瓣电影信息，分析近年电影行业的发展情况**

本文是完整的数据分析展现，代码有完整版，包含豆瓣电影爬取的具体方式【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】

 

最近MBA在学习《商业数据分析》，大实训作业给了数据要进行数据分析，所以先拿豆瓣电影练练手，网络上爬取豆瓣电影TOP250较多，但对于豆瓣电影全数据的爬取教程很少，所以我自己做一版。

目录

 

**爬取豆瓣电影信息，分析近年电影行业的发展情况**

一、爬取豆瓣电影

1.1认识XPath

1.2豆瓣电影信息

（1）主页数据探索

（2）详细页探索

1.3代码区

1.4 完整代码

1.5遇到的问题

1.使用User_Agent，仿造浏览器访问 headers

2.伪造Cookie，解封豆瓣IP

3.使用代理IP proxies

二、数据分析和可视化

2.1数据清洗

2.2数据分析，终于到了

2.3  建立回归模型

2.4 完整代码

一、爬取豆瓣电影

1.1认识XPath

先简单介绍下XPath，爬虫的时候会用到，尤其是爬取页面的内容不同时，需要对此进行修改。

lxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath，来快速的定位特定元素以及获取节点信息。

xpath的节点关系

每个XML的标签我们都称之为节点，其中最顶层的节点称为根节点。

 

xpath中节点的关系

选取节点
XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

使用chrome插件选择标签时候，选中时，选中的标签会添加属性class=”xh-highlight”

下面列出了最有用的表达式：

实例
在下面的表格中，已列出了一些路径表达式以及表达式的结果：

xpath基础语法练习：
选择所有的h1下的文本

//h1/text()

获取所有的a标签的href

//a/@href

获取html下的head下的title的文本

/html/head/title/text()

获取html下的head下的link标签的href

/html/head/link/@href

 

查找特定的节点

1.2豆瓣电影信息

（1）主页数据探索

接下来开始正式爬取豆瓣电影的数据

https://movie.douban.com/tag/#/?sort=U&range=8,10&tags=%E7%94%B5%E5%BD%B1,%E4%B8%AD%E5%9B%BD%E5%A4%A7%E9%99%86&page_limit=20&page_start=0

对应关系如下：

1. sort

排序方式，有三种： U:近期热门排序，T:标记最多排序,　R:最新上映排序,　S:评价最高排序:

2.range=0,10  评分范围

3.tags    影视形式,类型,地区,特色

4.其它，可以不管

playbale=1:表示可播放
unwatched=1:表示还没看过的

 

通过对网址分析https://movie.douban.com/tag/#/?sort=U&range=8,10&tags=%E7%94%B5%E5%BD%B1,%E4%B8%AD%E5%9B%BD%E5%A4%A7%E9%99%86&page_limit=20&page_start=0

“加载更多”分析

1) 首先要能看网页发回来的JSON数据，步骤如下：

  • 打开chrome的“检查”工具
  • 切换到network界面
  • 选择XHR
  • 在页面上点击“加载更多”后会看到浏览器发出去的请求
  • Preview界面可以看到接受到的JSON数据

 

这里可以发现，每次点击“加载更多”，每次会增加显示20个电影，真实URL中的start这个参数从0-20-40…变化，发送回来最新加载出来的20个电影的JSON数据，了解了这些以后，下面就可以用代码实现抓取了。

  • page_limit=20 决定请求信息的数量
  • page_start=0 决定请求的位置

（2）详细页探索

可以看到，其实主页上已经包含了影片的名称和评分数据，详细的内容还要点击具体的影片，打开如下：

这些都是我们要获取的信息。

通过以上就可以确定超链接位置所在，具体的方法是点击上图红色方框内的“箭头”，之后选择你想获取的信息即可，然后下面就会显示出来。

具体的内容如下，语法见前面内容：

name=html.xpath('//span[@property="v:itemreviewed"]/text()')               #电影名director=html.xpath('//a[@rel="v:directedBy"]//text()')                              #导演actor1=html.xpath('//span[@class="attrs"]/a[@rel="v:starring"]//text()')   #演员
actor = ["/".join(actor1)]                                                                            #有多个内容，合并在一起award1=html.xpath('//*[@id="content"]/div[3]/div[1]/div[8]//li[1]/a//text()') #获奖情况
award = ["/".join(award1)]                                                                         #有多个内容，合并在一起

 

其他数据参考下面的代码：

name=html.xpath('//span[@property="v:itemreviewed"]/text()')#电影名director=html.xpath('//a[@rel="v:directedBy"]//text()')#导演#playwright=html.xpath('//span[@class="pl",contains(text(),"编剧")]//text()')actor1=html.xpath('//span[@class="attrs"]/a[@rel="v:starring"]//text()')#演员actor = ["/".join(actor1)]movie_class1=html.xpath('//span[@property="v:genre"]//text()')#电影分类movie_class = ["/".join(movie_class1)]contry=re.compile('<span class="pl">制片国家/地区:</span>(.*?)<br/>').findall(response.text)#制片国家\地区releasedate=html.xpath('//span[@property="v:initialReleaseDate"]/@content')#上映日期runtime=html.xpath('//span[@property="v:runtime"]/@content')#片长grade=html.xpath('//strong[@class="ll rating_num"]/text()')#电影评分award1=html.xpath('//*[@id="content"]/div[3]/div[1]/div[8]//li[1]/a//text()')#获奖情况award = ["/".join(award1)]comments_user=html.xpath('//span[@property="v:votes"]/text()')#评论人数            duanpingshu1=html.xpath('//*[@id="comments-section"]/div[1]/h2/span/a/text()')#短评数duanpingshu = re.findall("\d+\.?\d*", str(duanpingshu1))    #转化为数字yinhpingshu1=html.xpath('//*[@id="reviews-wrapper"]/header/h2/span/a/text()')#影评数yinhpingshu = re.findall("\d+\.?\d*", str(yinhpingshu1))    #转化为数字

好，那理一下我们的思路

  • 首先，进入豆瓣电影，一共获取n页，每页20个影片。（n取决于你，想获取多少电影）
  • 然后，针对每一页的20个影片，进入其详细内容页面
  • 最后，解析每个影片的详细内容，保存内容到数据库中

代码思路如下：

# 遍历10页
# 保存所有影片数据集
    # 爬取n页的每一页数据 
    # 遍历每一页的20个影片
        # 爬取每个影片的详细内容
        # 保存每个影片信息到数据集中
# 保存结果到数据库中

稍微解释一下：两层循环，第一层是遍历n页网页，因为其中每个网页分别有20个影片，所以，第二层循环又依次遍历20个影片获取详细信息，最后保存结果到数据库中！
 

1.3代码区

由于豆瓣的电影区采用了Ajax技术来渲染页面信息，为方便爬取页面的电影信息，采用了selenium方法来模拟浏览器访问页面并对Ajax渲染操作，不断获取更新的电影信息。把要用的服务准备好。

import requests
from lxml import etree
import pandas as pd
import numpy as np
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time
import random
import re

user_agent.txt收集了大量不同的user-agent数据，用来编辑访问请求的请求头信息，模仿后期的浏览器浏览。user_agents1.txt在附件中

with open('user_agents1.txt', 'r') as f:U=[]for line in f:U.append(f.readline())

通过selenium作n次Ajax渲染后，爬取页面源代码中电影的图片、url，并关闭浏览器。先爬取高分电影（8分-10分）。

url='https://movie.douban.com/tag/#/?sort=U&range=8,10&tags=%E7%94%B5%E5%BD%B1,%E4%B8%AD%E5%9B%BD%E5%A4%A7%E9%99%86&page_limit=20&page_start=0'
#豆瓣华语电影区，根据热门标签选电影的url
broser=webdriver.C

这篇关于Python：豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1150133。

相关文章

浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
作业提交过程之HDFSMapReduce

作业提交过程之HDFSMapReduce

作业提交全过程详解 （1）作业提交 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第2步：Client向RM申请一个作业id。 第3步：RM给Client返回该job资源的提交路径和作业id。 第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。 第5步：Client提交完资源后，向RM申请运行MrAp
阅读更多...
AI一键生成 PPT

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人，是不是经常需要制作各种PPT来分享我的生活和想法。但是，你们知道，有时候灵感来了，时间却不够用了！😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手！🌟 什么是Kimi？ 一款月之暗面科技有限公司开发的AI办公工具，帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师，Kimi都能够为你的办公文
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2