用asyncio和aiohttp异步协程爬取披露易网站港资持股数据

2023-10-17 15:59
文章标签 数据 网站 异步 aiohttp asyncio 披露 协程 持股 港资

本文主要是介绍用asyncio和aiohttp异步协程爬取披露易网站港资持股数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这是本人毕设项目的一部分，也是比较核心的部分。
请自觉遵守相关法律法规，若侵权请联系本人立刻删除。

任务描述

爬取披露易网站上的港资持股A股详细股东数据。点击搜索栏下方的持股名单我们可以看到港资持股的股份名单。
任务分为三部分：

  • 首先需要爬取港资持股名单
  • 根据持股名单依次搜索爬取机构详细持股数据
  • 将爬取到的数据存入到mysql数据库中
    我们以股份【四川成渝高速公路，00107】为例，点击搜索，得到如下页面：
    在这里插入图片描述
    可以看到，对于一只股票而言，港资机构很多，我们只需要截取持股数量最大的前20名股东数据即可，如果不足20名就全部截取。另外我们所需要的字段有参与者编号，参与者名称，持股数量和占中央结算系统的比例。也就是股东编号，股东名称，股东持股数量和股东持股比例。

解决方案

笔者试过很多的解决方案，但是效果都不佳，常见的问题有：发起请求的时候容易失败，请求速度过快容易被封IP，使用多线程时容易遇到莫名其妙的问题（比如直接卡死也不知道什么原因）。经过无数次的打磨，最终得到一个比较合理的方案。

问题分析

首先对于股份名单的爬取自不必说，页面是一个表格，相对而言是一个简单的任务，而且只需要爬取一次。所以只需要发起一次请求获取到页面，然后将页面解析得到股份代码即可。

核心问题在于得到股份名单之后，需要将需要爬取的日期和股份代码输入，然后获取详细持股页面，这个过程可以发起一个post请求解决。难点在于股份名单中A股大概有2400支，那么每天需要对每一支股票的前20名股东进行爬取（有的不足20名），那么大概就总共有3万到4万条数据。

之前笔者低估了pymysql的力量，认为一次性插入上万条数据是非常耗时间的，需要采取特别的方案，例如多线程，协程等。但是事实证明，一次性插入上万条数据只不过需要10秒左右，因此对于数据插入的问题不予考虑优化。

现在剩余的唯一问题是，如何向同一个网站发起2400次请求？

当然，若你时间充裕，你用一天的时间来慢慢请求倒是无所谓，但是股票数据涉及到及时性的问题，需要尽快更新以便为用户提供服务。因此，爬虫速度以及不被封IP是一个迫切需要考虑的问题。

解决方案1
爬取股份名单

这里先贴出爬取股份名单的代码

import requests
def get_stock_list(day):"""获取股票代码Args:day (str)): 形如 20200101"""url = "https://sc.hkexnews.hk/TuniS/www.hkexnews.hk/sdw/search/stocklist_c.aspx"params = {"sortby":"stockcode","shareholdingdate":day,}#发送一个get请求response = requests.get(url = url, params=params, headers = headers)if response.status_code == 200:print("get stock list sucess!")soup = BeautifulSoup(response.text,'lxml')code_list = []trs = soup.select("table > tbody > tr")for tr in trs:tds = tr.find_all('td')code = tds[0].string.strip()code_type = code[0]#只需要A股股份名单if code_type == '7' or code_type == '3' or code_type == '9':code_list.append(code)return code_list

这一部分的代码比较简单，但是偶尔也会出问题，例如当请求失败了该如何处理并没有考虑。

爬取详细持股数据

这里将问题分解为三个任务：

  1. 根据股份代码和日期发起一次post请求，获取html页面
  2. 对html页面进行解析，得到规定格式的数据
  3. 将数据存入到数据库中

笔者之前的解决方案为将三个任务分开，并且考虑对第3步也做优化（用aiomysql来异步写入数据库），实际上大可不必。对于任务2，笔者尝试过3种方法：

  • 使用多进程（2核4G CPU）：没有明显的速度提升
  • 使用线程池，系统自动决定启用多少个线程：需要耗费大概100到120秒的时间
  • 将解析和获取页面绑定为一个协程任务进行（后面细说）

这里先贴出详细持股页面解析的代码

#datas是一个全局变量
#传入code参数是为了构造一项数据 [code,holder_id,volume,percent]
#没有爬取股东名称是因为另外有股东简称数据，此处不需要
def parse_html(code,html):soup = BeautifulSoup(html,'lxml')trs = soup.select("table > tbody > tr")count = 20 #只获取前20名股东的持股数据for tr in trs:count = count - 1if count<0:breaktds = tr.find_all('td')holder_id = tds[0].select(".mobile-list-body")[0].stringvolume = tds[3].select(".mobile-list-body")[0].string volume = ''.join((str(x) for x in volume.split(','))) #去掉逗号percent = tds[4].select(".mobile-list-body")[0].stringpercent = percent[:-1] #去掉百分号item = (code, holder_id, volume, percent) #code,...if holder_id is not None:#香港中央结算系统没有holder_id,为Nonedatas.append(item)

如果使用多线程进行解析：

前提：有一个全局变量htmls保存了所有股份的页面。线程池参考

from concurrent.futures import ThreadPoolExecutor, as_completed
with ThreadPoolExecutor() as t:for html in htmls:t.submit(parse_html,(html,))
aiohttp,asyncio 异步协程发起请求

经了解，python3中加入了asyncio来实现异步线程，能够对爬虫速度有质的提升。asyncio不用介绍，读者自行了解，aiohttp是发起异步请求的库。笔者突发奇想，何不将发起请求和解析页面直接作为一个协程任务进行呢？于是有了如下代码：

async def get_and_parse_html(code,day):#构造post参数data = {"txtStockCode": code,"txtShareholdingDate": day,"__EVENTTARGET": "btnSearch","sortBy":"shareholding","sortDirection":"desc",}try:with(await sem):#sem是异步请求的并发量，sem = asyncio.Semaphore(60)#经过测试，控制在60比较合适，否则容易被封IPasync with aiohttp.ClientSession() as session:#发起异步post请求async with session.post(url = url, headers=headers, data=data,timeout=20) as response:if response.status==200:html = await response.text()# htmls.append((code,html))#获取到页面就立刻开始解析，捆绑作为一个任务来完成parse_html(code,html)else:failed_code.append(code) #失败代码，等待重新发起请求except Exception as e:failed_code.append(code)print(code,e)

最后是将所有的股份代码传入该函数形成任务列表，然后启动任务列表，系统将会自动执行这些任务。

def run(day):
#day:形如2022/03/22global failed_codecodes = get_stock_list(day.replace('/',''))loop = asyncio.get_event_loop() #获取事件循环tasks = [get_and_parse_html(code,day) for code in codes] #构建任务列表loop.run_until_complete(asyncio.wait(tasks)) #激活协程count = 3while(failed_code and count>0):count = count - 1print("失败数量为%d"%(len(failed_code)))new_tasks = [get_and_parse_html(code,day) for code in failed_code]failed_code = [] #清空失败列表print("time sleep 10 for new task")time.sleep(10)loop.run_until_complete(asyncio.wait(new_tasks))print("依然剩余%d的失败数量"%(len(failed_code)))loop.close() #关闭事件循环

如上述代码所示，我们启动了一个事件循环，并构造了一个任务列表。codes是我们先前爬取的股份名单，failed_code是一个全局变量，存储着请求失败的代码，他们将会在第一次事件循环结束之后重新发起请求，并且有3次机会。启动协程总结如下：

  • 获取事件循环 loop = asyncio.get_event_loop()
  • 构造任务列表 tasks = [get_and_parse_html(code,day) for code in codes]
  • 激活协程任务 loop.run_until_complete(asyncio.wait(tasks))
写入数据库

最后就是写入数据库，经过前面的步骤，我们有了一个全局变量datas存储了所有的数据，其内容大致如下：

[item1,item2,item3,...]
#其中一个item为一条数据：
(code, holder_id, volume, percent)

写入数据库的代码如下：

def write_to_mysql(day):connection = pymysql.connect(host = 'localhost',port = 3306,user = 'root',password = 'your_password',database = 'your_data_base',charset= 'utf8' )cursor = connection.cursor()sql = f"INSERT INTO HolderTable(trade_date,stock_code,holder_id,volume,percent) VALUES('{day}',%s,%s,%s,%s)"try:cursor.executemany(sql,datas)connection.commit()except:connection.rollback()connection.close()

至此，我们完成了整个任务，总共用时根据网络情况不一，快一点在150秒左右，慢一点400秒左右，但是相对于之前的半个小时，15分钟，速度已经有了很大的提升。

番外篇

在此记录其他的一些试图但是并未成功或实现不稳定的解决方案。

使用代理爬虫

使用代理爬虫，我们就需要一些代理，这些代理从何而来呢？当然也是爬虫！
如下记录了一些常见代理网站的解析代码。

    def crawl_66ip(self):"""66ip 代理：http://www.66ip.cn"""self.result = []url = ("http://www.66ip.cn/nmtq.php?getnum=100&isp=0""&anonymoustype=0&area=0&proxytype={}&api=66ip")pattern = "\d+\.\d+.\d+\.\d+:\d+"items = [(0, "http://{}"), (1, "https://{}")]for item in items:proxy_type, host = itemhtml = requests(url.format(proxy_type))if html:for proxy in re.findall(pattern, html):self.result.append(host.format(proxy))def crawl_kuaidaili(self):"""快代理：https://www.kuaidaili.com"""self.result = []url = "https://www.kuaidaili.com/free/{}"items = ["inha/1/"]for proxy_type in items:html = requests(url.format(proxy_type))if html:doc = pyquery.PyQuery(html)for proxy in doc(".table-bordered tr").items():ip = proxy("[data-title=IP]").text()port = proxy("[data-title=PORT]").text()if ip and port:self.result.append("http://{}:{}".format(ip, port))def crawl_ip3366(self):"""云代理：http://www.ip3366.net"""self.result = []url = "http://www.ip3366.net/?stype=1&page={}"items = [p for p in range(1, 8)]for page in items:html = requests(url.format(page))if html:doc = pyquery.PyQuery(html)for proxy in doc(".table-bordered tr").items():ip = proxy("td:nth-child(1)").text()port = proxy("td:nth-child(2)").text()schema = proxy("td:nth-child(4)").text()if ip and port and schema:self.result.append("{}://{}:{}".format(schema.lower(), ip, port))def crawl_data5u(self):"""无忧代理：http://www.data5u.com/"""self.result = []url = "http://www.data5u.com/"html = requests(url)if html:doc = pyquery.PyQuery(html)for index, item in enumerate(doc("li ul").items()):if index > 0:ip = item("span:nth-child(1)").text()port = item("span:nth-child(2)").text()schema = item("span:nth-child(4)").text()if ip and port and schema:self.result.append("{}://{}:{}".format(schema, ip, port))def crawl_iphai(self):"""ip 海代理：http://www.iphai.com"""self.result = []url = "http://www.iphai.com/free/{}"items = ["ng", "np", "wg", "wp"]for proxy_type in items:html = requests(url.format(proxy_type))if html:doc = pyquery.PyQuery(html)for item in doc(".table-bordered tr").items():ip = item("td:nth-child(1)").text()port = item("td:nth-child(2)").text()schema = item("td:nth-child(4)").text().split(",")[0]if ip and port and schema:self.result.append("{}://{}:{}".format(schema.lower(), ip, port))def crawl_swei360(self):"""360 代理：http://www.swei360.com"""self.result = []url = "http://www.swei360.com/free/?stype={}"items = [p for p in range(1, 5)]for proxy_type in items:html = requests(url.format(proxy_type))if html:doc = pyquery.PyQuery(html)for item in doc(".table-bordered tr").items():ip = item("td:nth-child(1)").text()port = item("td:nth-child(2)").text()schema = item("td:nth-child(4)").text()if ip and port and schema:self.result.append("{}://{}:{}".format(schema.lower(), ip, port))

然后每次我们随机运行一个函数来获取代理IP。

class ProxyCrawler:def __init__(self):self.result = [] #代理结果self.valid_result = [] #验证可用之后的结果self.func_name = ["crawl_66ip", "crawl_kuaidaili", "crawl_ip3366", "crawl_data5u",\"crawl_iphai", "crawl_swei360"]#...各个代理的爬取代码（在上面）#随机运行一个def get_proxies(self):self.result = []count = 20while count>0 and self.result==[]:count = count - 1id = random.randint(0,len(self.func_name)-1) func = getattr(self,self.func_name[id],self.err_func)func()

获取的代理不一定可用，还需要进行验证，验证方法就是向我们的目标网站发起请求看是否可用。

headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Mobile Safari/537.36','Connection': 'close'}url = "https://www.hkexnews.hk/sdw/search/searchsdw_c.aspx"data = {"txtStockCode": '30002',"txtShareholdingDate": '2022/03/22',"__EVENTTARGET": "btnSearch","sortBy":"shareholding","sortDirection":"desc",}def valid_normal(self,proxy):response = req.post(url=url,data=data,headers=headers,proxies={'http':proxy},timeout=5)if response.status_code == 200:print(f'{proxy} is useful.')self.valid_result.append(proxy)

有了这些可用代理之后就可以应用到正式的爬虫任务中了。

使用多线程爬虫

该方案在之前一直可行，但是2400支股票使用多线程容易卡死，因此分为了两个任务，每次用多线程爬取1200支股票数据。大概需要400秒。
核心代码如下：

#请求并解析数据
def fetch(params):code = params[0]day = params[1]day_ = day[:4] + '-' + day[4:6] + '-' + day[6:]data = {"txtStockCode": code,"txtShareholdingDate": day,"__EVENTTARGET": "btnSearch","sortBy":"shareholding","sortDirection":"desc",}retry = 5try:headers['User-Agent'] = random.choice(user_agent_list)response = requests.post(url = url, headers=headers, data=data)while(response.status_code != 200 and retry>0):retry = retry - 1time.sleep(3)response = requests.post(url = url, headers=headers, data=data)soup = BeautifulSoup(response.text,'lxml')trs = soup.select("table > tbody > tr")res = []count = 20 #只获取前20名股东的持股数据for tr in trs:count = count - 1if count<0:breaktds = tr.find_all('td')holder_id = tds[0].select(".mobile-list-body")[0].stringvolume = tds[3].select(".mobile-list-body")[0].string volume = ''.join((str(x) for x in volume.split(','))) #去掉逗号percent = tds[4].select(".mobile-list-body")[0].string[:-1] #去掉百分号item = [day_, code, holder_id, volume, percent]if holder_id is not None:#香港中央结算系统没有holder_id,为Noneres.append(item)return resexcept Exception as e:print(code,e)def write_to_db(res_table):df = DataFrame(res_table, columns=['trade_date', 'stock_code', 'holder_id', 'volume', 'percent'])df.to_sql('HolderTable', engine_ts, index=False,if_exists='append', chunksize=5000)def run(codes):executor = ThreadPoolExecutor()tasks = [executor.submit(fetch, (code)) for code in codes]for future in as_completed(tasks):data = future.result()write_to_db(data)

这篇关于用asyncio和aiohttp异步协程爬取披露易网站港资持股数据的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/226433。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集，专门用于烟火目标检测，是一个非常有价值的资源，尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍： 数据集名称：烟火目标检测数据集 数据集规模： 图片数量：7800张类别：主要包含烟火类目标，可能还包括其他相关类别，如烟火发射装置、背景等。格式：图像文件通常为JPEG或PNG格式；标注文件可能为X
阅读更多...
pandas数据过滤

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据，可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法，结合实例进行讲解，希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav
阅读更多...
SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型，它综合考虑了土壤-水分-大气以及植被间的相互作用；是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程，使其能够精确的模拟土壤中水分的运动，而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2