2024.4.17 Python爬虫复习day05 可视化

2024-04-14 23:12
文章标签 python 可视化 爬虫 复习 17 day05 2024.4

本文主要是介绍2024.4.17 Python爬虫复习day05 可视化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

day05_数据可视化和程序日志

准备web服务器

注意: 记得把source资源到项目中

# 1.导包
from fastapi import FastAPI
from fastapi import Response
import uvicorn# 2.创建对象
app = FastAPI()# 3.使用对象接收浏览器请求,并且使用对象给浏览器响应资源
# 注意: get中传入请求的资源路径
@app.get('/')
def func():# 自动跳转首页with open('source/html/index.html', 'rb') as f:data = f.read()res = Response(data)return res@app.get('/{html_name}')
def func(html_name: str):# 自动跳转页面with open(f'source/html/{html_name}', 'rb') as f:data = f.read()res = Response(data)return res@app.get('/images/{img_name}')
def func(img_name: str):with open(f'source/images/{img_name}', 'rb') as f:data = f.read()res = Response(data)return res@app.get('/video/{vi_name}')
def func(vi_name: str):with open(f'source/video/{vi_name}', 'rb') as f:data = f.read()res = Response(data)return res# 4.启动服务器(指定fastapi对象,主机地址,端口号)
uvicorn.run(app,host='127.0.0.1',port=9091)

数据可视化

1.爬取数据

# 1.导包
import requests
import re# 2.准备有效的url
url = 'http://127.0.0.1:9091/gdp.html'
# 3.发送url请求,获取web服务器返回的响应对象
response = requests.get(url)
# 4.从响应对象中提取页面数据,并转为字符串类型
html_str = response.content.decode()
# print(html_str)
# 5.使用正则表达式匹配自己想要的资源
gdp_data = re.findall('<a href=""><font>(.+?)</font>.*?￥(.+?)亿元', html_str, re.S)
print(gdp_data)
# 6.数据保存(目的:为了下一次直接使用)
with open('gdp.txt', 'w', encoding='utf8') as f:f.write(str(gdp_data))

2.读取数据

# 需求: 根据之前爬取的数据进行数据可视化
# 从之前爬取数据存储文件中读出数据
with open('gdp.txt', 'r', encoding='utf8') as f:# 注意: 数据是字符串类型的data = f.read()# 把data转为列表数据也就是'[(...),(...)]' 转变为 [(...),(...)]
# 注意: eval不能随便使用,只是去除两端的引号,让里面的数据变成本身所属类型
gdp_list = eval(data)
print(gdp_list)
print(type(gdp_list))

3.pyecharts制作饼图

echarts: 百度开源的一个数据可视化工具pyecharts: python版本的echarts工具使用pyecharts步骤1.安装: pip install pyecharts2.导包: import pyecharts3.使用: 可以制作饼图,折线图,地图等可视化页面

# 0.定义函数获取要展示的数据
def get_gdp_list():# 从之前爬取数据存储文件中读出数据with open('gdp.txt', 'r', encoding='utf8') as f:# 注意: 数据是字符串类型的data = f.read()# 把data转为列表数据也就是'[(...),(...)]' 转变为 [(...),(...)]# 注意: eval不能随便使用,只是去除两端的引号,让里面的数据变成本身所属类型gdp_list = eval(data)return gdp_list# 1.导包
from pyecharts.charts import Pie
import pyecharts.options as opts# 2.创建饼图对象
pie = Pie(init_opts=opts.InitOpts(width='1500px', height='800px'))# 3.给饼图对象添加数据
# 先获取数据
gdp_list = get_gdp_list()
# 添加数据
pie.add('gdp数据',gdp_list[:10],label_opts=opts.LabelOpts(formatter='{b}:{d}%')
)
# 4.给饼图设置标题
pie.set_global_opts(title_opts=opts.TitleOpts(title='2023_GDP数据',subtitle='斌子制作'))# 5.渲染成页面
# 注意: 默认路径是当前路径下生成render.html页面
# 也可以像下面那样指定页面路径和文件名
pie.render('source/html/my_render.html')

程序日志

知识点:

python中日志模块: logging日志作用:1.查看程序的运行情况2.方便开发人员查看bug3.方便分析用户的行为和喜好日志等级: DEBUG :(数字10代表)调试信息INFO: (数字20代表)正常运行信息WARNING: (数字30代表)警告信息(默认)ERROR: (数字40代表)错误信息CRITICAL: (数字50代表)危险信息日志优先级:  DEBUG < INFO  < WARNING  < ERROR < CRITICAL

入门

# 1.导包
import logging# 2.使用
# 直接运行如下代码,观察结果: 只打印了从warning开始的三行日志信息
# 注意: 默认等级是WARNING: WARNING以及WARNING以上的信息会被打印
logging.debug('这是一个调试信息...')
logging.info('这是一个正常运行信息...')
logging.warning('这是一个警告信息...')
logging.error('这是一个错误信息...')
logging.critical('这是一个危险信息...')

格式化输出到控制台

# 1.导包
import logging# 2.使用
# 注意: 如果要修改配置,需要先修改再打印信息才会生效
# 修改日志等级
logging.basicConfig(level=logging.DEBUG,format='时间:%(asctime)s,程序名:%(filename)s,行号:%(lineno)d,%(levelname)s信息:%(message)s'
)
# 直接运行如下代码,观察结果: 只打印了从warning开始的三行日志信息
# 注意: 默认等级是WARNING: WARNING以及WARNING以上的信息会被打印
logging.debug('这是一个调试信息...')
logging.info('这是一个正常运行信息...')
logging.warning('这是一个警告信息...')
logging.error('这是一个错误信息...')
logging.critical('这是一个危险信息...')

格式化输出到文件

# 1.导包
import logging# 2.使用
# 注意: 如果要修改配置,需要先修改再打印信息才会生效
logging.basicConfig(level=logging.DEBUG,  # 修改日志等级format='时间:%(asctime)s,程序名:%(filename)s,行号:%(lineno)d,%(levelname)s信息:%(message)s',  # 格式化filename='my_log.txt',  # 指定要保存的文件名filemode='w'  # 默认模式是追加a
)
# 日志信息
logging.debug('这是一个调试信息...')
logging.info('这是一个正常运行信息...')
logging.warning('这是一个警告信息...')
logging.error('这是一个错误信息...')
logging.critical('这是一个危险信息...')

日志版本web服务器

# 1.导包
from fastapi import FastAPI
from fastapi import Response
import uvicorn
import logging# 2.创建对象
app = FastAPI()# 5.修改日志等级和输出日志到文件
# 注意: 如果要修改配置,需要先修改再打印信息才会生效
logging.basicConfig(level=logging.DEBUG,  # 修改日志等级format='时间:%(asctime)s,程序名:%(filename)s,行号:%(lineno)d,%(levelname)s信息:%(message)s',  # 格式化filename='web_log.txt',  # 指定要保存的文件名filemode='w'  # 默认模式是追加a
)# 3.使用对象接收浏览器请求,并且使用对象给浏览器响应资源
# 注意: get中传入请求的资源路径
@app.get('/')
def func():# 记录日志信息logging.info('用户访问了首页')# 自动跳转首页with open('source/html/index.html', 'rb') as f:data = f.read()res = Response(data)return res@app.get('/{html_name}')
def func(html_name: str):# 记录日志信息logging.info(f'用户访问了{html_name}资源')# 自动跳转页面with open(f'source/html/{html_name}', 'rb') as f:data = f.read()res = Response(data)return res@app.get('/images/{img_name}')
def func(img_name: str):# 记录日志信息logging.info(f'用户访问了{img_name}图片文件')# 自动跳转图片with open(f'source/images/{img_name}', 'rb') as f:data = f.read()res = Response(data)return res@app.get('/video/{vi_name}')
def func(vi_name: str):# 记录日志信息logging.info(f'用户访问了{vi_name}视频文件')# 自动返回视频资源with open(f'source/video/{vi_name}', 'rb') as f:data = f.read()res = Response(data)return res# 4.启动服务器(指定fastapi对象,主机地址,端口号)
uvicorn.run(app, host='127.0.0.1', port=9099)# 客户端通过: http://127.0.0.1:9099/ 访问

这篇关于2024.4.17 Python爬虫复习day05 可视化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/904284。

相关文章

使用Python删除Excel中的行列和单元格示例详解

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定
阅读更多...
Python通用唯一标识符模块uuid使用案例详解

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数
阅读更多...
Python办公自动化实战之打造智能邮件发送工具

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置：搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、
阅读更多...
Python包管理工具pip的升级指南

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...
基于Python实现一个图片拆分工具

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片，默认是输出到项目文件夹中，可以自己选择其他的文件夹，选择需要拆分的行数和列数，可以通过
阅读更多...
Python中反转字符串的常见方法小结

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函
阅读更多...
Python中将嵌套列表扁平化的多种实现方法

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表（即列表中包含列表）转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert
阅读更多...
使用Docker构建Python Flask程序的详细教程

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker
阅读更多...
Python使用vllm处理多模态数据的预处理技巧

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...
Python使用pip工具实现包自动更新的多种方法

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2