python爬虫-爬小说

2024-05-25 03:28
文章标签 python 爬虫 小说

本文主要是介绍python爬虫-爬小说，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！ 

# 导入BeautifulSoup
from bs4 import BeautifulSoup as bf
from fastapi import FastAPI,Form,File
import time
import random
import requests
import tracebackapp = FastAPI(title='爬虫',description='regex web: https://regexr-cn.com/  \n  eg : <a href="https://www.zbytb.com/s-zb-.*?</a>  \n eg : <a href="[./].*?</a>',version='1.0.0')headers = [{"User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"},{"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36"},{"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"},{"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14"},{"User-Agent":"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)"},{"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11"},{"User-Agent":"Opera/9.25 (Windows NT 5.1; U; en)"},{"User-Agent":"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)"},{"User-Agent":"Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)"},{"User-Agent":"Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12"},{"User-Agent":"Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9"},{"User-Agent":"Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7"},{"User-Agent":"Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 "}
]proxys = []def wait():time.sleep(0.2)def getHeader():return random.choice(headers)def getProxy():return random.choice(proxys)def parseUrl(url):if(url.startswith('./')):url = url.replace('./','')return urldef start():try:list_html = requests.get('https://www.xjwxsw.com/xsmulu/27614204/', headers=getHeader())list_html.encoding = list_html.apparent_encodinglist_obj = bf(list_html.text, 'html.parser')atags = list_obj.find_all('div', id='content_1')[0].find_all('a')f = open('C://Users//admin//Desktop//777.txt', "a", encoding='utf-8')for atag in atags:title = atag.textprint(title)f.write(title)f.write("\n")href1 = 'https://www.xjwxsw.com'+atag.get('href')href2 = href1.split('.html')[0]+'_2.html'context1 = requests.get(href1, headers=getHeader())context1.encoding = context1.apparent_encodingcontext_obj1 = bf(context1.text, 'html.parser')ptags1 = context_obj1.find_all('div', id='booktxt')[0].find_all('p')for ptag1 in ptags1:f.write(ptag1.text)f.write("\n")context2 = requests.get(href2, headers=getHeader())context2.encoding = context2.apparent_encodingcontext_obj2 = bf(context2.text, 'html.parser')ptags2 = context_obj2.find_all('div', id='booktxt')[0].find_all('p')for ptag2 in ptags2:f.write(ptag2.text)f.write("\n")except Exception as e:traceback.print_exc()finally:f.close()
if __name__ == '__main__':start()

# 导入BeautifulSoup
from bs4 import BeautifulSoup as bf
from fastapi import FastAPI,Form,File
import time
import random
import requests
import tracebackapp = FastAPI(title='爬虫',description='regex web: https://regexr-cn.com/  \n  eg : <a href="https://www.zbytb.com/s-zb-.*?</a>  \n eg : <a href="[./].*?</a>',version='1.0.0')headers = [{"User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"},{"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36"},{"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"},{"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14"},{"User-Agent":"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)"},{"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11"},{"User-Agent":"Opera/9.25 (Windows NT 5.1; U; en)"},{"User-Agent":"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)"},{"User-Agent":"Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)"},{"User-Agent":"Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12"},{"User-Agent":"Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9"},{"User-Agent":"Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7"},{"User-Agent":"Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 "}
]proxys = []def wait():time.sleep(0.2)def getHeader():return random.choice(headers)def getProxy():return random.choice(proxys)def parseUrl(url):if(url.startswith('./')):url = url.replace('./','')return urldef start():try:list_html = requests.get('https://www.uuks5.com/book/766295/', headers=getHeader())list_html.encoding = list_html.apparent_encodinglist_obj = bf(list_html.text, 'html.parser')atags = list_obj.find_all('ul', id='chapterList')[0].find_all('a')f = open('C://Users//admin//Desktop//123.txt', "a", encoding='utf-8')for atag in atags:title = atag.textprint(title)f.write(title)f.write("\n")href1 = 'https://www.uuks5.com/'+atag.get('href')context1 = requests.get(href1, headers=getHeader())context1.encoding = context1.apparent_encodingcontext_obj1 = bf(context1.text, 'html.parser')ptags1 = context_obj1.find_all('div', id='TextContent')[0].find_all('p')for ptag1 in ptags1:f.write(ptag1.text)f.write("\n")except Exception as e:traceback.print_exc()finally:f.close()
if __name__ == '__main__':start()

这篇关于python爬虫-爬小说的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1000345。

相关文章

Python 字符串占位

Python 字符串占位

在Python中，可以使用字符串的格式化方法来实现字符串的占位。常见的方法有百分号操作符 % 以及 str.format() 方法 百分号操作符 % name = "张三"age = 20message = "我叫%s，今年%d岁。" % (name, age)print(message) # 我叫张三，今年20岁。 str.format() 方法 name = "张三"age
阅读更多...
一道经典Python程序样例带你飞速掌握Python的字典和列表

一道经典Python程序样例带你飞速掌握Python的字典和列表

Python中的列表（list）和字典（dict）是两种常用的数据结构，它们在数据组织和存储方面有很大的不同。 列表（List） 列表是Python中的一种有序集合，可以随时添加和删除其中的元素。列表中的元素可以是任何数据类型，包括数字、字符串、其他列表等。列表使用方括号[]表示，元素之间用逗号,分隔。 定义和使用 # 定义一个列表 fruits = ['apple', 'banana
阅读更多...
Python应用开发——30天学习Streamlit Python包进行APP的构建（9）

Python应用开发——30天学习Streamlit Python包进行APP的构建（9）

st.area_chart 显示区域图。 这是围绕 st.altair_chart 的语法糖。主要区别在于该命令使用数据自身的列和指数来计算图表的 Altair 规格。因此，在许多 "只需绘制此图 "的情况下，该命令更易于使用，但可定制性较差。 如果 st.area_chart 无法正确猜测数据规格，请尝试使用 st.altair_chart 指定所需的图表。 Function signa
阅读更多...
python实现最简单循环神经网络(RNNs)

python实现最简单循环神经网络(RNNs)

Recurrent Neural Networks（RNNs） 的模型： 上图中红色部分是输入向量。文本、单词、数据都是输入，在网络里都以向量的形式进行表示。 绿色部分是隐藏向量。是加工处理过程。 蓝色部分是输出向量。 python代码表示如下： rnn = RNN()y = rnn.step(x) # x为输入向量，y为输出向量 RNNs神经网络由神经元组成， python
阅读更多...
python 喷泉码

python 喷泉码

因为要完成毕业设计，毕业设计做的是数据分发与传输的东西。在网络中数据容易丢失，所以我用fountain code做所发送数据包的数据恢复。fountain code属于有限域编码的一部分，有很广泛的应用。 我们日常生活中使用的二维码，就用到foutain code做数据恢复。你遮住二维码的四分之一，用手机的相机也照样能识别。你遮住的四分之一就相当于丢失的数据包。 为了实现并理解foutain
阅读更多...
python 点滴学

python 点滴学

1 python 里面tuple是无法改变的 tuple = （1,）,计算tuple里面只有一个元素，也要加上逗号 2  1 毕业论文改 2 leetcode第一题做出来
阅读更多...
Python爬虫-贝壳新房

Python爬虫-贝壳新房

前言 本文是该专栏的第32篇，后面会持续分享python爬虫干货知识，记得关注。 本文以某房网为例，如下图所示，采集对应城市的新房房源数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码） 正文 地址：aHR0cHM6Ly93aC5mYW5nLmtlLmNvbS9sb3VwYW4v 目标：采集对应城市的
阅读更多...
python 在pycharm下能导入外面的模块，到terminal下就不能导入

python 在pycharm下能导入外面的模块，到terminal下就不能导入

项目结构如下，在ic2ctw.py 中导入util，在pycharm下不报错，但是到terminal下运行报错  File "deal_data/ic2ctw.py", line 3, in <module>     import util 解决方案： 暂时方案：在终端下：export PYTHONPATH=/Users/fujingling/PycharmProjects/PSENe
阅读更多...
将一维机械振动信号构造为训练集和测试集（Python）

将一维机械振动信号构造为训练集和测试集（Python）

从如下链接中下载轴承数据集。 https://www.sciencedirect.com/science/article/pii/S2352340918314124 import numpy as npimport scipy.io as sioimport matplotlib.pyplot as pltimport statistics as statsimport pandas
阅读更多...
Python利用qq邮箱发送通知邮件（已封装成model）

Python利用qq邮箱发送通知邮件（已封装成model）

因为经常喜欢写一些脚本、爬虫之类的东西，有需要通知的时候，总是苦于没有太好的通知方式，虽然邮件相对于微信、短信来说，接收性差了一些，但毕竟免费，而且支持html直接渲染，所以，折腾了一个可以直接使用的sendemail模块。这里主要应用的是QQ发邮件，微信关注QQ邮箱后，也可以实时的接收到消息，肾好！ 好了，废话不多说，直接上代码。 # encoding: utf-8import lo
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2