Python异步编程--获取girlypic写真集

2023-11-07 03:36

本文主要是介绍Python异步编程--获取girlypic写真集,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

在日常生活中,无论是网络配置、文件整理、web开发还是工具,时常用到Python写些脚本。

这次主要是分享下异步编程的经验,就拿获取girlypic的图片举例吧,也希望能给一些同学带来思考。

  • 使用argparse而不是os.args,这个库能够优雅地获取命令行参数,不再需要os.args判断个数或者类型。
  • 使用pathlib而不是os.path,这个库能够高效地处理各种文件操作,创建、修改、删除、路径拼接等。
  • 使用logging而不是print,个人更加习惯用日志的方式打印信息。
  • 使用aiohttp而不是requests,当你决定用异步的方式发送网络请求时,就用这个库吧。
  • 使用aiofiles而不是open,当你决定用异步的方式读写文件时,就用这个库吧。
  • 使用lxml,这个库能够使用Xpath语法帮助我们解析html内容。
  • 使用asyncio.create_task而不是for循环,当一组任务不是顺序相关时,不必循环await执行,通过创建任务的方式异步执行。
  • 使用类型提示,标注变量的类型,方便IDE检索。

以上是常用的库或者提示,没有好坏之分,主要是看个人的习惯,一旦一处异步,那就处处异步

Python版本

当前稳定版本是:3.10.11

Python依赖

aiohttp==3.8.6
aiofiles==23.2.1
lxml==4.9.3

Python源码

import asyncio
import logging
import argparse
from pathlib import Pathimport aiohttp
import aiofiles
from lxml import etreelogger = logging.getLogger()
logger.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
console = logging.StreamHandler()
console.setLevel(logging.INFO)
console.setFormatter(formatter)
logger.addHandler(console)PROXY = "http://127.0.0.1:10808"
SAVE_FOLDER = Path("Downloads")
PICTURE_HOST = "https://girlygirlpic.com"
PICTURE_GATHER = PICTURE_HOST + "/ax/"
PICTURE_SEARCH = PICTURE_HOST + "/sx/"
PICTURE_URL = '//div[@class="post-media-body"]//a[@class="figure-link os-lightbox-activator"]/@href'
ALBUM_NAMES = '//div[@class="post-content-body"]/h4[@class="post-title entry-title"]/a[@class="on-popunder"]'
HEADER = {"Origin": PICTURE_HOST,"Connection": "close","Cookie": "_user_language=Cn","X-Requested-With": "XMLHttpRequest","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0"
}async def download_picture(url: str, save_folder: Path) -> None:async with aiohttp.ClientSession() as session:try:async with session.get(url, proxy=PROXY, headers=HEADER) as response:picture_name = url[url.rfind("/") + 1:]async with aiofiles.open(save_folder / picture_name, "wb") as handle:async for chunk in response.content.iter_chunked(1024):await handle.write(chunk)except Exception as exception:logger.error(f"{exception} [URL] {url}")async def parse_album(url: str, save_folder: Path) -> None:album_id = url[url.rfind("/") + 1:]header = {**HEADER, **{"Referer": url}}async with aiohttp.ClientSession() as session:requests_body = {"album_id": album_id}async with session.post(PICTURE_GATHER, json=requests_body, proxy=PROXY, headers=header) as response:html_content = await response.text()image_href = etree.HTML(html_content).xpath(PICTURE_URL)logger.info(f"{len(image_href):03d} photos of album [{save_folder.name}]")task_list = [asyncio.create_task(download_picture(pic_url, save_folder)) for pic_url in image_href]await asyncio.wait(task_list) if len(task_list) > 0 else Nonelogger.info(f"album saved [{save_folder.name}]")async def get_albums(name: str) -> None:async with aiohttp.ClientSession() as session:requests_body = {"search_keys_tag": name}async with session.post(PICTURE_SEARCH, json=requests_body, proxy=PROXY, headers=HEADER) as response:html_content = await response.text()album_content = etree.HTML(html_content).xpath(ALBUM_NAMES)logger.info(f"{len(album_content):03d} albums about {name}")task_list = []for album in album_content:href = album.get("href")text = album.textsave_folder = SAVE_FOLDER / name / textsave_folder.mkdir(parents=True) if not save_folder.exists() else Nonetask_list.append(asyncio.create_task(parse_album(href, save_folder)))await asyncio.wait(task_list) if len(task_list) > 0 else Noneasync def main(names: [str]) -> None:await asyncio.wait([asyncio.create_task(get_albums(name)) for name in names])logger.info("done")if __name__ == "__main__":parser = argparse.ArgumentParser(description="download pictures")parser.add_argument("name", type=str, nargs='+', help="girls name list")args = parser.parse_args()asyncio.run(main(args.name))

其中PICTURE_HOST就是域名,需要科学访问,所以PROXY自己配置吧。

运行方法很简单:python main.py xxxx xxxx xxxx,其中xxxx为姓名,多个人名按照空格隔开。

获取完毕后会在当前创建一个Downloads目录,图片会按照姓名以及相册名归类在里面。

运行结果

这就是异步的魅力,同步的方式只能一次发送一个请求,然后阻塞在网络IO上,异步则会在这种情况下让出CPU资源执行其他的代码。

效果图不方便放,大家可以自己试试

图片过多,访问过于频繁时,请求有可能会被BAN,所以可以适当地延迟下载任务,由于是异步,就不要用time.sleep()了,而是要用asyncio.sleep()

这篇关于Python异步编程--获取girlypic写真集的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/360972

相关文章

详解如何使用Python提取视频文件中的音频

《详解如何使用Python提取视频文件中的音频》在多媒体处理中,有时我们需要从视频文件中提取音频,本文为大家整理了几种使用Python编程语言提取视频文件中的音频的方法,大家可以根据需要进行选择... 目录引言代码部分方法扩展引言在多媒体处理中,有时我们需要从视频文件中提取音频,以便进一步处理或分析。本文

python多种数据类型输出为Excel文件

《python多种数据类型输出为Excel文件》本文主要介绍了将Python中的列表、元组、字典和集合等数据类型输出到Excel文件中,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录一.列表List二.字典dict三.集合set四.元组tuplepython中的列表、元组、字典

VSCode配置Anaconda Python环境的实现

《VSCode配置AnacondaPython环境的实现》VisualStudioCode中可以使用Anaconda环境进行Python开发,本文主要介绍了VSCode配置AnacondaPytho... 目录前言一、安装 Visual Studio Code 和 Anaconda二、创建或激活 conda

pytorch+torchvision+python版本对应及环境安装

《pytorch+torchvision+python版本对应及环境安装》本文主要介绍了pytorch+torchvision+python版本对应及环境安装,安装过程中需要注意Numpy版本的降级,... 目录一、版本对应二、安装命令(pip)1. 版本2. 安装全过程3. 命令相关解释参考文章一、版本对

讯飞webapi语音识别接口调用示例代码(python)

《讯飞webapi语音识别接口调用示例代码(python)》:本文主要介绍如何使用Python3调用讯飞WebAPI语音识别接口,重点解决了在处理语音识别结果时判断是否为最后一帧的问题,通过运行代... 目录前言一、环境二、引入库三、代码实例四、运行结果五、总结前言基于python3 讯飞webAPI语音

基于Python开发PDF转PNG的可视化工具

《基于Python开发PDF转PNG的可视化工具》在数字文档处理领域,PDF到图像格式的转换是常见需求,本文介绍如何利用Python的PyMuPDF库和Tkinter框架开发一个带图形界面的PDF转P... 目录一、引言二、功能特性三、技术架构1. 技术栈组成2. 系统架构javascript设计3.效果图

Win32下C++实现快速获取硬盘分区信息

《Win32下C++实现快速获取硬盘分区信息》这篇文章主要为大家详细介绍了Win32下C++如何实现快速获取硬盘分区信息,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 实现代码CDiskDriveUtils.h#pragma once #include <wtypesbase

Python如何在Word中生成多种不同类型的图表

《Python如何在Word中生成多种不同类型的图表》Word文档中插入图表不仅能直观呈现数据,还能提升文档的可读性和专业性,本文将介绍如何使用Python在Word文档中创建和自定义各种图表,需要的... 目录在Word中创建柱形图在Word中创建条形图在Word中创建折线图在Word中创建饼图在Word

Python Excel实现自动添加编号

《PythonExcel实现自动添加编号》这篇文章主要为大家详细介绍了如何使用Python在Excel中实现自动添加编号效果,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、背景介绍2、库的安装3、核心代码4、完整代码1、背景介绍简单的说,就是在Excel中有一列h=会有重复

Python FastAPI入门安装使用

《PythonFastAPI入门安装使用》FastAPI是一个现代、快速的PythonWeb框架,用于构建API,它基于Python3.6+的类型提示特性,使得代码更加简洁且易于绶护,这篇文章主要介... 目录第一节:FastAPI入门一、FastAPI框架介绍什么是ASGI服务(WSGI)二、FastAP