自制多肉查询工具

2024-08-24 10:44
文章标签 工具 查询 自制 多肉

本文主要是介绍自制多肉查询工具，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景：

复习python qt、网页解析的常用操作

准备：

  1. 多肉信息网站
  2. 涉及python的第三方库：
    • lxml
    • PyQt5

实现效果：

在这里插入图片描述

功能：

  1. 随机读取：从本地加载已存储的多肉信息
  2. 数据更新：从多肉信息网站更新5条多肉数据
  3. 查询：根据多肉的名字，查询本地存储的多肉信息
  4. 展示内容：
    • 多肉名称
    • 多肉介绍
    • 多肉图片

实现过程：

  1. 多肉信息爬取：

    1. 首页爬取多肉科目信息
      在这里插入图片描述

    2. 不同科目的多肉信息
      在这里插入图片描述

    3. 不同属的多肉信息获取
      在这里插入图片描述

    4. 实现代码：

      # -*- coding:UTF-8 -*-"""@ProjectName  : pyExamples@FileName     : crawler@Description  : 爬取多肉信息@Time         : 2023/8/21 下午2:28@Author       : Qredsun"""
import os
import time
import random
import pickle
import requests
from lxml import etree
from loguru import logger'''多肉数据爬虫'''
class SucculentCrawler():DEFAULT_UPDATE_NUM = 5 # 每次更新的多肉信息数量def __init__(self, **kwargs):self.__url = 'https://www.drlmeng.com/'self.referer_list = ["http://www.google.com/", "http://www.bing.com/", "http://www.baidu.com/", "https://www.360.cn/"]self.ua_list = ['Mozilla/5.0 (Linux; Android 5.1.1; Z828 Build/LMY47V) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.111 Mobile Safari/537.36','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22','Mozilla/5.0 (iPad; CPU OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) CriOS/47.0.2526.107 Mobile/12F69 Safari/600.1.4','Mozilla/5.0 (iPad; CPU OS 11_2_5 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) CriOS/64.0.3282.112 Mobile/15D60 Safari/604.1','Mozilla/5.0 (Linux; Android 7.1.1; SM-T350 Build/NMF26X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Safari/537.36','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.98 Safari/537.36','Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.124 Safari/537.36','Mozilla/5.0 (Linux; Android 6.0.1; SM-G610F Build/MMB29K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36','Mozilla/5.0 (Linux; Android 5.1.1; 5065N Build/LMY47V; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/46.0.2490.76 Mobile Safari/537.36','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36','Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36']self.page_urls = self.__getAllPageUrls()self.savedir = 'resources/succulents'self.page_pointer = 0'''爬取下一页数据'''def next(self):data = self.__parse_drlmeng_subject()self.__saveItem(data)time.sleep(random.random())return False'''多肉科目'''def __parse_drlmeng_subject(self):drlmeng_title = ''drlmeng_category_desc = []drlmeng_img_url = ''# 获取链接page_url = self.page_urls[self.page_pointer]# 提取该页中多肉的图片+详情页链接res = requests.get(page_url, headers=self.__randomHeaders())html = etree.HTML(res.text)archive_head = html.xpath('//*[@id="archive-head"]')if not len(archive_head):logger.debug('解析多肉所属科失败')return drlmeng_title, drlmeng_img_url, drlmeng_category_descarchive_head = archive_head[0]drlmeng_subject = archive_head.xpath('.//h1')if len(drlmeng_subject):drlmeng_subject = drlmeng_subject[0].text.strip()logger.debug(f'科：{drlmeng_subject}')drlmeng_category_desc.append(drlmeng_subject)drlmeng_type_description = archive_head.xpath('.//div/p')if len(drlmeng_type_description):drlmeng_type_description = drlmeng_type_description[0].text.strip()logger.debug(f'科介绍：{drlmeng_type_description}')drlmeng_category_desc.append(drlmeng_type_description)drlmengs = html.xpath('//ul[@class="posts-ul"]/li')drlmengs = drlmengs if drlmengs else html.xpath('//li[@class="row-thumb"]')if len(drlmengs):random_index = random.randint(0, len(drlmengs))drlmeng_info = drlmengs[random_index].xpath('.//a[@class="post-thumbnail"]')if len(drlmeng_info):drlmeng_info = drlmeng_info[0]drlmeng_title = drlmeng_info.attrib.get('title')drlmeng_title = drlmeng_title.replace('/','_')drlmeng_desc_url = drlmeng_info.attrib.get('href')drlmeng_category_desc.append(self.__parse_drlmeng_category(drlmeng_desc_url))drlmeng_img_urls = drlmeng_info.xpath('.//img')if len(drlmeng_img_urls):drlmeng_img_url = drlmeng_img_urls[0].attrib.get('lazydata-src')self.page_pointer += 1return drlmeng_title, drlmeng_img_url, drlmeng_category_desc'''多肉属'''def __parse_drlmeng_category(self, drlmeng_desc_url):content = ''# # 提取该页中多肉的图片+详情页链接res = requests.get(drlmeng_desc_url, headers=self.__randomHeaders())html = etree.HTML(res.text)entry = html.xpath('//div[@class="entry"]')if len(entry):entry = entry[0]line_content = entry.xpath('.//p/text()')for line in line_content:line = line.replace('\u3000', '')line = line.strip()content += linelogger.debug(f'解析多肉详细介绍：{content}')return content'''数据保存'''def __saveItem(self, data):if not os.path.exists(self.savedir):os.mkdir(self.savedir)if not data[0]:returnsavepath = os.path.join(self.savedir, data[0])if not os.path.exists(savepath):os.mkdir(savepath)f = open(os.path.join(savepath, 'show.jpg'), 'wb')f.write(requests.get(data[1], headers=self.__randomHeaders()).content)f.close()f = open(os.path.join(savepath, 'info.pkl'), 'wb')pickle.dump(data, f)f.close()'''获得所有链接'''def __getAllPageUrls(self):res = requests.get(self.__url, headers=self.__randomHeaders())html = etree.HTML(res.text)# html = etree.parse('/home/redsun/Downloads/pycharm-2020.2/run/config/scratches/scratch.html', etree.HTMLParser())ul_list = html.xpath('//ul[@class="sub-menu"]')page_urls = []for ul in ul_list:page_urls.extend(ul.xpath('.//a/@href'))if page_urls.__len__() >= self.DEFAULT_UPDATE_NUM:page_urls = page_urls[:self.DEFAULT_UPDATE_NUM]breakreturn page_urls'''随机请求头'''def __randomHeaders(self):return {'user-agent': random.choice(self.ua_list), 'referer': random.choice(self.referer_list)}if __name__ == '__main__':c = SucculentCrawler()c.next()

  2. 窗口交互：

    # -*- coding:UTF-8 -*-"""@ProjectName  : pyExamples@FileName     : SucculentQuery@Description  : 多肉信息查询工具外壳@Time         : 2023/8/21 下午2:28@Author       : Qredsun"""
import io
import os
import sys
import random
import threading
from PIL import Image
from PyQt5.QtGui import *
from PyQt5.QtWidgets import *
from PyQt5 import QtGui
from crawler import *'''多肉数据'''
class SucculentQuery(QWidget):def __init__(self, parent=None, **kwargs):super(SucculentQuery, self).__init__(parent)self.setWindowTitle('多肉数据查询-微信公众号:Qredsun')self.setWindowIcon(QIcon('resources/icon/icon.jpg'))# 定义组件self.label_name = QLabel('多肉名称: ')self.line_edit = QLineEdit()self.button_find = QPushButton()self.button_find.setText('查询')self.label_result = QLabel('查询结果:')self.show_label = QLabel()self.show_label.setFixedSize(300, 300)self.showLabelImage('resources/icon/icon.png')self.text_result = QTextEdit()self.button_random = QPushButton()self.button_random.setText('随机读取')self.button_update = QPushButton()self.button_update.setText('数据更新')self.tip_label = QLabel()self.tip_label.setText('数据状态: 未在更新数据, 数据更新进度: 0/0')# 排版self.grid = QGridLayout()self.grid.addWidget(self.label_name, 0, 0, 1, 1)self.grid.addWidget(self.line_edit, 0, 1, 1, 30)self.grid.addWidget(self.button_find, 0, 31, 1, 1)self.grid.addWidget(self.button_random, 0, 32, 1, 1)self.grid.addWidget(self.button_update, 0, 33, 1, 1)self.grid.addWidget(self.tip_label, 1, 0, 1, 31)self.grid.addWidget(self.label_result, 2, 0)self.grid.addWidget(self.text_result, 3, 0, 1, 34)self.grid.addWidget(self.show_label, 3, 34, 1, 1)self.setLayout(self.grid)self.resize(600, 400)# 事件绑定self.button_find.clicked.connect(self.find)self.button_random.clicked.connect(self.randomRead)self.button_update.clicked.connect(lambda _: threading.Thread(target=self.update).start())'''数据查询'''def find(self):datadir = os.path.join('resources/succulents/', self.line_edit.text())if os.path.exists(datadir):self.showLabelImage(os.path.join(datadir, 'show.jpg'))intro = pickle.load(open(os.path.join(datadir, 'info.pkl'), 'rb'))[-1]self.showIntroduction(intro)'''随机读取'''def randomRead(self):datadir = random.choice(os.listdir('resources/succulents/'))self.line_edit.setText(datadir)datadir = os.path.join('resources/succulents/', self.line_edit.text())if os.path.exists(datadir):self.showLabelImage(os.path.join(datadir, 'show.jpg'))intro = pickle.load(open(os.path.join(datadir, 'info.pkl'), 'rb'))[-1]self.showIntroduction(intro)'''数据更新'''def update(self):crawler_handle = SucculentCrawler()while True:self.tip_label.setText('数据状态: 正在在更新数据, 数据更新进度: %s/%s' % (crawler_handle.page_pointer + 1, len(crawler_handle.page_urls)))crawler_handle.next()if crawler_handle.page_pointer == len(crawler_handle.page_urls):breakself.tip_label.setText('数据状态: 未在更新数据, 数据更新进度: 0/0')'''在文本框里显示多肉介绍'''def showIntroduction(self, intro):self.text_result.setText('\n\n'.join(intro))'''在Label对象上显示图片'''def showLabelImage(self, imagepath):image = Image.open(imagepath).resize((300, 300), Image.ANTIALIAS)fp = io.BytesIO()image.save(fp, 'JPEG')qtimg = QtGui.QImage()qtimg.loadFromData(fp.getvalue(), 'JPEG')qtimg_pixmap = QtGui.QPixmap.fromImage(qtimg)self.show_label.setPixmap(qtimg_pixmap)'''run'''
if __name__ == '__main__':app = QApplication(sys.argv)query_demo = SucculentQuery()query_demo.show()sys.exit(app.exec_())

  3. 项目结构：
    在这里插入图片描述

这篇关于自制多肉查询工具的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1102257。

相关文章

MySQL查询JSON数组字段包含特定字符串的方法

MySQL查询JSON数组字段包含特定字符串的方法

《MySQL查询JSON数组字段包含特定字符串的方法》在MySQL数据库中,当某个字段存储的是JSON数组,需要查询数组中包含特定字符串的记录时传统的LIKE语句无法直接使用,下面小编就为大家介绍两种... 目录问题背景解决方案对比1. 精确匹配方案（推荐）2. 模糊匹配方案参数化查询示例使用场景建议性能优
阅读更多...
mysql表操作与查询功能详解

mysql表操作与查询功能详解

《mysql表操作与查询功能详解》本文系统讲解MySQL表操作与查询,涵盖创建、修改、复制表语法,基本查询结构及WHERE、GROUPBY等子句,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友跟随... 目录01.表的操作1.1表操作概览1.2创建表1.3修改表1.4复制表02.基本查询操作2.1 SE
阅读更多...
sqlite3 命令行工具使用指南

sqlite3 命令行工具使用指南

《sqlite3命令行工具使用指南》本文系统介绍sqlite3CLI的启动、数据库操作、元数据查询、数据导入导出及输出格式化命令,涵盖文件管理、备份恢复、性能统计等实用功能,并说明命令分类、SQL语... 目录一、启动与退出二、数据库与文件操作三、元数据查询四、数据操作与导入导出五、查询输出格式化六、实用功
阅读更多...
MySQL数据库的内嵌函数和联合查询实例代码

MySQL数据库的内嵌函数和联合查询实例代码

《MySQL数据库的内嵌函数和联合查询实例代码》联合查询是一种将多个查询结果组合在一起的方法,通常使用UNION、UNIONALL、INTERSECT和EXCEPT关键字,下面：本文主要介绍MyS... 目录一.数据库的内嵌函数1.1聚合函数COUNT([DISTINCT] expr)SUM([DISTIN
阅读更多...
XML重复查询一条Sql语句的解决方法

XML重复查询一条Sql语句的解决方法

《XML重复查询一条Sql语句的解决方法》文章分析了XML重复查询与日志失效问题,指出因DTO缺少@Data注解导致日志无法格式化、空指针风险及参数穿透,进而引发性能灾难,解决方案为在Controll... 目录一、核心问题：从SQL重复执行到日志失效二、根因剖析：DTO断裂引发的级联故障三、解决方案：修复
阅读更多...
mysql查询使用_rowid虚拟列的示例

mysql查询使用_rowid虚拟列的示例

《mysql查询使用_rowid虚拟列的示例》MySQL中,_rowid是InnoDB虚拟列,用于无主键表的行ID查询,若存在主键或唯一列,则指向其,否则使用隐藏ID（不稳定）,推荐使用ROW_NUM... 目录1. 基本查询（适用于没有主键的表）2. 检查表是否支持 _rowid3. 注意事项4. 最佳实
阅读更多...
基于Python开发Windows屏幕控制工具

基于Python开发Windows屏幕控制工具

《基于Python开发Windows屏幕控制工具》在数字化办公时代,屏幕管理已成为提升工作效率和保护眼睛健康的重要环节,本文将分享一个基于Python和PySide6开发的Windows屏幕控制工具,... 目录概述功能亮点界面展示实现步骤详解1. 环境准备2. 亮度控制模块3. 息屏功能实现4. 息屏时间
阅读更多...
SQLite3命令行工具最佳实践指南

SQLite3命令行工具最佳实践指南

《SQLite3命令行工具最佳实践指南》SQLite3是轻量级嵌入式数据库,无需服务器支持,具备ACID事务与跨平台特性,适用于小型项目和学习,sqlite3.exe作为命令行工具,支持SQL执行、数... 目录1. SQLite3简介和特点2. sqlite3.exe使用概述2.1 sqlite3.exe
阅读更多...
基于Python实现一个Windows Tree命令工具

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一：创建批处理文件并添加到PATH1
阅读更多...
使用jenv工具管理多个JDK版本的方法步骤

使用jenv工具管理多个JDK版本的方法步骤

《使用jenv工具管理多个JDK版本的方法步骤》jenv是一个开源的Java环境管理工具,旨在帮助开发者在同一台机器上轻松管理和切换多个Java版本,：本文主要介绍使用jenv工具管理多个JD... 目录一、jenv到底是干啥的？二、jenv的核心功能（一）管理多个Java版本（二）支持插件扩展（三）环境隔
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2