自制多肉查询工具

2024-08-24 10:44
文章标签 工具 查询 自制 多肉

本文主要是介绍自制多肉查询工具，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景：

复习python qt、网页解析的常用操作

准备：

  1. 多肉信息网站
  2. 涉及python的第三方库：
    • lxml
    • PyQt5

实现效果：

在这里插入图片描述

功能：

  1. 随机读取：从本地加载已存储的多肉信息
  2. 数据更新：从多肉信息网站更新5条多肉数据
  3. 查询：根据多肉的名字，查询本地存储的多肉信息
  4. 展示内容：
    • 多肉名称
    • 多肉介绍
    • 多肉图片

实现过程：

  1. 多肉信息爬取：

    1. 首页爬取多肉科目信息
      在这里插入图片描述

    2. 不同科目的多肉信息
      在这里插入图片描述

    3. 不同属的多肉信息获取
      在这里插入图片描述

    4. 实现代码：

      # -*- coding:UTF-8 -*-"""@ProjectName  : pyExamples@FileName     : crawler@Description  : 爬取多肉信息@Time         : 2023/8/21 下午2:28@Author       : Qredsun"""
import os
import time
import random
import pickle
import requests
from lxml import etree
from loguru import logger'''多肉数据爬虫'''
class SucculentCrawler():DEFAULT_UPDATE_NUM = 5 # 每次更新的多肉信息数量def __init__(self, **kwargs):self.__url = 'https://www.drlmeng.com/'self.referer_list = ["http://www.google.com/", "http://www.bing.com/", "http://www.baidu.com/", "https://www.360.cn/"]self.ua_list = ['Mozilla/5.0 (Linux; Android 5.1.1; Z828 Build/LMY47V) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.111 Mobile Safari/537.36','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22','Mozilla/5.0 (iPad; CPU OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) CriOS/47.0.2526.107 Mobile/12F69 Safari/600.1.4','Mozilla/5.0 (iPad; CPU OS 11_2_5 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) CriOS/64.0.3282.112 Mobile/15D60 Safari/604.1','Mozilla/5.0 (Linux; Android 7.1.1; SM-T350 Build/NMF26X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Safari/537.36','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.98 Safari/537.36','Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.124 Safari/537.36','Mozilla/5.0 (Linux; Android 6.0.1; SM-G610F Build/MMB29K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36','Mozilla/5.0 (Linux; Android 5.1.1; 5065N Build/LMY47V; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/46.0.2490.76 Mobile Safari/537.36','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36','Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36']self.page_urls = self.__getAllPageUrls()self.savedir = 'resources/succulents'self.page_pointer = 0'''爬取下一页数据'''def next(self):data = self.__parse_drlmeng_subject()self.__saveItem(data)time.sleep(random.random())return False'''多肉科目'''def __parse_drlmeng_subject(self):drlmeng_title = ''drlmeng_category_desc = []drlmeng_img_url = ''# 获取链接page_url = self.page_urls[self.page_pointer]# 提取该页中多肉的图片+详情页链接res = requests.get(page_url, headers=self.__randomHeaders())html = etree.HTML(res.text)archive_head = html.xpath('//*[@id="archive-head"]')if not len(archive_head):logger.debug('解析多肉所属科失败')return drlmeng_title, drlmeng_img_url, drlmeng_category_descarchive_head = archive_head[0]drlmeng_subject = archive_head.xpath('.//h1')if len(drlmeng_subject):drlmeng_subject = drlmeng_subject[0].text.strip()logger.debug(f'科：{drlmeng_subject}')drlmeng_category_desc.append(drlmeng_subject)drlmeng_type_description = archive_head.xpath('.//div/p')if len(drlmeng_type_description):drlmeng_type_description = drlmeng_type_description[0].text.strip()logger.debug(f'科介绍：{drlmeng_type_description}')drlmeng_category_desc.append(drlmeng_type_description)drlmengs = html.xpath('//ul[@class="posts-ul"]/li')drlmengs = drlmengs if drlmengs else html.xpath('//li[@class="row-thumb"]')if len(drlmengs):random_index = random.randint(0, len(drlmengs))drlmeng_info = drlmengs[random_index].xpath('.//a[@class="post-thumbnail"]')if len(drlmeng_info):drlmeng_info = drlmeng_info[0]drlmeng_title = drlmeng_info.attrib.get('title')drlmeng_title = drlmeng_title.replace('/','_')drlmeng_desc_url = drlmeng_info.attrib.get('href')drlmeng_category_desc.append(self.__parse_drlmeng_category(drlmeng_desc_url))drlmeng_img_urls = drlmeng_info.xpath('.//img')if len(drlmeng_img_urls):drlmeng_img_url = drlmeng_img_urls[0].attrib.get('lazydata-src')self.page_pointer += 1return drlmeng_title, drlmeng_img_url, drlmeng_category_desc'''多肉属'''def __parse_drlmeng_category(self, drlmeng_desc_url):content = ''# # 提取该页中多肉的图片+详情页链接res = requests.get(drlmeng_desc_url, headers=self.__randomHeaders())html = etree.HTML(res.text)entry = html.xpath('//div[@class="entry"]')if len(entry):entry = entry[0]line_content = entry.xpath('.//p/text()')for line in line_content:line = line.replace('\u3000', '')line = line.strip()content += linelogger.debug(f'解析多肉详细介绍：{content}')return content'''数据保存'''def __saveItem(self, data):if not os.path.exists(self.savedir):os.mkdir(self.savedir)if not data[0]:returnsavepath = os.path.join(self.savedir, data[0])if not os.path.exists(savepath):os.mkdir(savepath)f = open(os.path.join(savepath, 'show.jpg'), 'wb')f.write(requests.get(data[1], headers=self.__randomHeaders()).content)f.close()f = open(os.path.join(savepath, 'info.pkl'), 'wb')pickle.dump(data, f)f.close()'''获得所有链接'''def __getAllPageUrls(self):res = requests.get(self.__url, headers=self.__randomHeaders())html = etree.HTML(res.text)# html = etree.parse('/home/redsun/Downloads/pycharm-2020.2/run/config/scratches/scratch.html', etree.HTMLParser())ul_list = html.xpath('//ul[@class="sub-menu"]')page_urls = []for ul in ul_list:page_urls.extend(ul.xpath('.//a/@href'))if page_urls.__len__() >= self.DEFAULT_UPDATE_NUM:page_urls = page_urls[:self.DEFAULT_UPDATE_NUM]breakreturn page_urls'''随机请求头'''def __randomHeaders(self):return {'user-agent': random.choice(self.ua_list), 'referer': random.choice(self.referer_list)}if __name__ == '__main__':c = SucculentCrawler()c.next()

  2. 窗口交互：

    # -*- coding:UTF-8 -*-"""@ProjectName  : pyExamples@FileName     : SucculentQuery@Description  : 多肉信息查询工具外壳@Time         : 2023/8/21 下午2:28@Author       : Qredsun"""
import io
import os
import sys
import random
import threading
from PIL import Image
from PyQt5.QtGui import *
from PyQt5.QtWidgets import *
from PyQt5 import QtGui
from crawler import *'''多肉数据'''
class SucculentQuery(QWidget):def __init__(self, parent=None, **kwargs):super(SucculentQuery, self).__init__(parent)self.setWindowTitle('多肉数据查询-微信公众号:Qredsun')self.setWindowIcon(QIcon('resources/icon/icon.jpg'))# 定义组件self.label_name = QLabel('多肉名称: ')self.line_edit = QLineEdit()self.button_find = QPushButton()self.button_find.setText('查询')self.label_result = QLabel('查询结果:')self.show_label = QLabel()self.show_label.setFixedSize(300, 300)self.showLabelImage('resources/icon/icon.png')self.text_result = QTextEdit()self.button_random = QPushButton()self.button_random.setText('随机读取')self.button_update = QPushButton()self.button_update.setText('数据更新')self.tip_label = QLabel()self.tip_label.setText('数据状态: 未在更新数据, 数据更新进度: 0/0')# 排版self.grid = QGridLayout()self.grid.addWidget(self.label_name, 0, 0, 1, 1)self.grid.addWidget(self.line_edit, 0, 1, 1, 30)self.grid.addWidget(self.button_find, 0, 31, 1, 1)self.grid.addWidget(self.button_random, 0, 32, 1, 1)self.grid.addWidget(self.button_update, 0, 33, 1, 1)self.grid.addWidget(self.tip_label, 1, 0, 1, 31)self.grid.addWidget(self.label_result, 2, 0)self.grid.addWidget(self.text_result, 3, 0, 1, 34)self.grid.addWidget(self.show_label, 3, 34, 1, 1)self.setLayout(self.grid)self.resize(600, 400)# 事件绑定self.button_find.clicked.connect(self.find)self.button_random.clicked.connect(self.randomRead)self.button_update.clicked.connect(lambda _: threading.Thread(target=self.update).start())'''数据查询'''def find(self):datadir = os.path.join('resources/succulents/', self.line_edit.text())if os.path.exists(datadir):self.showLabelImage(os.path.join(datadir, 'show.jpg'))intro = pickle.load(open(os.path.join(datadir, 'info.pkl'), 'rb'))[-1]self.showIntroduction(intro)'''随机读取'''def randomRead(self):datadir = random.choice(os.listdir('resources/succulents/'))self.line_edit.setText(datadir)datadir = os.path.join('resources/succulents/', self.line_edit.text())if os.path.exists(datadir):self.showLabelImage(os.path.join(datadir, 'show.jpg'))intro = pickle.load(open(os.path.join(datadir, 'info.pkl'), 'rb'))[-1]self.showIntroduction(intro)'''数据更新'''def update(self):crawler_handle = SucculentCrawler()while True:self.tip_label.setText('数据状态: 正在在更新数据, 数据更新进度: %s/%s' % (crawler_handle.page_pointer + 1, len(crawler_handle.page_urls)))crawler_handle.next()if crawler_handle.page_pointer == len(crawler_handle.page_urls):breakself.tip_label.setText('数据状态: 未在更新数据, 数据更新进度: 0/0')'''在文本框里显示多肉介绍'''def showIntroduction(self, intro):self.text_result.setText('\n\n'.join(intro))'''在Label对象上显示图片'''def showLabelImage(self, imagepath):image = Image.open(imagepath).resize((300, 300), Image.ANTIALIAS)fp = io.BytesIO()image.save(fp, 'JPEG')qtimg = QtGui.QImage()qtimg.loadFromData(fp.getvalue(), 'JPEG')qtimg_pixmap = QtGui.QPixmap.fromImage(qtimg)self.show_label.setPixmap(qtimg_pixmap)'''run'''
if __name__ == '__main__':app = QApplication(sys.argv)query_demo = SucculentQuery()query_demo.show()sys.exit(app.exec_())

  3. 项目结构：
    在这里插入图片描述

这篇关于自制多肉查询工具的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1102257。

相关文章

Python基于wxPython和FFmpeg开发一个视频标签工具

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优
阅读更多...
使用Java实现通用树形结构构建工具类

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子
阅读更多...
浅谈mysql的sql_mode可能会限制你的查询

浅谈mysql的sql_mode可能会限制你的查询

《浅谈mysql的sql_mode可能会限制你的查询》本文主要介绍了浅谈mysql的sql_mode可能会限制你的查询,这个问题主要说明的是,我们写的sql查询语句违背了聚合函数groupby的规则... 目录场景：问题描述原因分析：解决方案：第一种：修改后，只有当前生效，若是mysql服务重启，就会失效；
阅读更多...
MySQL多列IN查询的实现

MySQL多列IN查询的实现

《MySQL多列IN查询的实现》多列IN查询是一种强大的筛选工具,它允许通过多字段组合快速过滤数据,本文主要介绍了MySQL多列IN查询的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录一、基础语法：多列 IN 的两种写法1. 直接值列表2. 子查询二、对比传统 OR 的写法三、性能分析与优化1.
阅读更多...
利用Python开发Markdown表格结构转换为Excel工具

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark
阅读更多...
利用Go语言开发文件操作工具轻松处理所有文件

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具？核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件
阅读更多...
jvm调优常用命令行工具详解

jvm调优常用命令行工具详解

《jvm调优常用命令行工具详解》：本文主要介绍jvm调优常用命令行工具的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一 jinfo命令查看参数1.1 查看jvm参数二 jstack命令2.1 查看现场堆栈信息三 jstat 实时查看堆内存，gc情况3.1
阅读更多...
MySQL使用binlog2sql工具实现在线恢复数据功能

MySQL使用binlog2sql工具实现在线恢复数据功能

《MySQL使用binlog2sql工具实现在线恢复数据功能》binlog2sql是大众点评开源的一款用于解析MySQLbinlog的工具,根据不同选项,可以得到原始SQL、回滚SQL等,下面我们就来... 目录背景目标步骤准备工作恢复数据结果验证结论背景生产数据库执行 SQL 脚本，一般会经过正规的审批
阅读更多...
基于Python开发批量提取Excel图片的小工具

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求，就是批量读取当前目录下所有文件夹里的Excel文件，去获取出Excel文件中的图片，并
阅读更多...
Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)

Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)

《Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)》：本文主要介绍Java导入、导出excel的相关资料,讲解了使用Java和ApachePOI库将数据导出为Excel文件,包括... 目录前言一、引入Apache POI依赖二、用法&步骤2.1 创建Excel的元素2.3 样式和字体2.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2