重庆市A股上市公司年度财务分析数据爬取

2024-02-02 10:30

本文主要是介绍重庆市A股上市公司年度财务分析数据爬取,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.重庆市A股上市公司基本情况

由《重庆上市公司发展报告(2021)》显示,截至12月7日,重庆境内外上市公司数量已达80家。其中,境内上市公司62家,境外上市公司21家(长安汽车为A+B股上市企业,渝农商行、重庆钢铁为A+H股上市企业)。A股上市公司有58家,民营企业有28家,占比48.28%,国有企业24家占比41.38%,还有2家外资企业、2家公众企业、1家其他企业,总达市值1.18万亿,见表1,主要行业包括电子信息、汽车及零部件、高端装备、新材料、生物医药、特色消费品、农副食品等,主要分布见图1。

表 1 重庆市A股上市公司地域分布数据

所在区

经度

纬度

上市公司\家

江北区

106.57

29.6

11

渝北区

106.63

29.72

8

渝中区

106.57

29.55

6

涪陵区

107.4

29.72

5

北碚区

106.4

29.8

5

九龙坡区

106.5

29.5

4

长寿区

107.08

29.87

3

南岸区

106.57

29.52

3

巴南区

106.52

29.38

3

江津区

106.26

29.29

2

璧山区

106.23

29.59

2

万州区

108.4

30.82

1

大渡口区

106.48

29.48

1

合川区

106.27

29.97

1

荣昌区

105.58

29.4

1

垫江县

107.35

30.33

1

图 1 重庆市58家A股上市公司地域位置分布

2.指标的选取

 为了全面真实地反映重庆市A股上市公司综合财务质量的基本情况,本文在收集数据时主要考虑了以下4个方面本文的一级指标:主要经济、盈利能力、偿债能力和成本费用等。每个方面有若干个二级指标数据,一共22个二级指标。利用python爬取重庆上市公司名单-重庆上市公司名录-重庆上市公司大全-商业计划书-可研报告-中商产业研究院数据库-中商情报网上58家A股上市公司的数据

 需要注意的是,要点击每个公司,然后在另一个网页的财务分析(年度)上获取每个指标的数据,如点击渝开发,弹出下一个网页

 在左侧栏目找到财务分析(年度)点击,

注意3次点击网址是不一样,而财务分析(年度)这个网址是我们爬取数据的关键网址。下面展示代码

import requests
from lxml import etree
import time
import pandas as pd
from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Optionsurl='https://s.askci.com/stock/a-0-cc0000001429/1/'
opt=Options()
#反爬
opt.add_experimental_option('excludeSwitches', ['enable-automation'])
#无头浏览器
opt.add_argument("--headless")
opt.add_argument("--disable-gpu")
web=Chrome(options=opt)
web.get(url)
stock_list=web.find_elements(By.XPATH,'//*[@id="ResultUl"]/tr/td[2]/a')
stock_code=[]
for code in stock_list:stock_code.append(code.text)#拿到了上市公司的
el=web.find_element(By.XPATH,'//*[@id="kkpager"]/div[1]/span[1]/a[1]')
el.click()
# stock_list1=web.find_elements(By.XPATH,'//*[@id="ResultUl"]/tr/td[2]/a')
# for code in stock_list1:
#     stock_code.append(code.text)#拿到了上市公司的
stock_list1=web.find_elements(By.XPATH,'//*[@id="ResultUl"]/tr/td[2]/a')
for code in stock_list1:stock_code.append(code.text)#拿到了58个上市公司的股票代码
# el=web.find_element(By.XPATH,//*[@id="kkpager"]/div[1]/span[1]/a[1])
# el.click()
# //*[@id="ResultUl"]/tr[1]/td[2]/a
# //*[@id="ResultUl"]/tr[1]/td[2]/a
# //*[@id="ResultUl"]/tr[1]/td[3]/a
# //*[@id="ResultUl"]/tr[2]/td[3]/astock_code=pd.DataFrame(stock_code)
stock_code.columns=['股票代码']#https://s.askci.com/stock/financialanalysis/000514/
eco_name=[]
eco_data=[]
ope_name=[]
ope_data=[]
pay_name=[]
pay_data=[]
cost_name=[]
cost_data=[]
eco_table=[]
ope_table=[]
pay_table=[]
cost_table=[]
for stock in stock_code:url1='https://s.askci.com/stock/financialanalysis/'+stock+'/'opt=Options()opt.add_experimental_option('excludeSwitches', ['enable-automation'])opt.add_argument("--headless")opt.add_argument("--disable-gpu")web=Chrome(options=opt)web.get(url1)print('股票代码{}已打开'.format(stock))
#     web.current_window_handle  # 获取当前窗口
#     web.window_handles    # 获取所有窗口
#     web.switch_to_window(-1)  time.sleep(5)table1=web.find_element(By.XPATH,"//div[@class='right_f_com']//div[2]//table[1]")eco_list=table1.find_elements(By.TAG_NAME,'tr')for eco in eco_list:eco_table.append(eco.text)eco_n=eco_table[0]#主要经济指标的列名包括年份eco_d=eco_table[-1]#主要经济指标的数据eco_name.append(eco_n)eco_data.append(eco_d)time.sleep(1)#拿营业能力指标/盈利能力table2=web.find_element(By.XPATH,"//div[@class='right_f_com']//div[4]//table[1]")ope_list=table2.find_elements(By.TAG_NAME,'tr')for ope in ope_list:ope_table.append(ope.text)    ope_n=ope_table[0]#主要经济指标的列名包括年份ope_d=ope_table[-1]#主要经济指标的数据ope_name.append(ope_n)ope_data.append(ope_d)time.sleep(1)#拿偿债能力指标table3=web.find_element(By.XPATH,"//div[@class='right_f_com']//div[6]//table[1]")pay_list=table3.find_elements(By.TAG_NAME,'tr')for pay in pay_list:pay_table.append(pay.text)    pay_n=pay_table[0]#主要经济指标的列名包括年份pay_d=pay_table[-1]#主要经济指标的数据pay_name.append(pay_n)pay_data.append(pay_d)time.sleep(1)#拿成本费用指标table4=web.find_element(By.XPATH,"//div[@class='right_f_com']//div[8]//table[1]")cost_list=table4.find_elements(By.TAG_NAME,'tr')for cost in cost_list:cost_table.append(cost.text)    cost_n=cost_table[0]#主要经济指标的列名包括年份cost_d=cost_table[-1]#主要经济指标的数据cost_name.append(cost_n)cost_data.append(cost_d)time.sleep(1)print('股票代码{}已运结束'.format(stock))web.close()time.sleep(5)
print('运行完毕')    

以上是咱们把58个上司公司对应指标的数据爬取了出来,接着需要将其数据进行整理,放入CSV中。代码如下

#将得到的数据去空格化,生成对应维度的数据,即样本数x特征数
def data_split(data):new_data=[]for i in range(len(data)):new_data.append(data[i].split(' ')) return new_dataeco_split=data_split(eco_data)#主要经济指标
ope_split=data_split(ope_data)#盈利能力,存货周转率为单位1,应收周转率单位为次,总资产周转率单位为次
pay_split=data_split(pay_data)#
cost_split=data_split(cost_data)#将亿和万转化成亿
def str2value(data):new_data=[]for i in range(len(data)):data_value=[]for value in data[i]:index_yi=value.find('亿')index_wan=value.find('万')index_missing=value.find('--')#缺失标记
#             index_wan_yi=value.find('万亿')if index_yi == -1 and index_wan == -1 and index_missing == -1:#把数字所谓的2020转换成数字2020value=int(value)if index_yi != -1 and index_wan != -1 and index_missing == -1:value=float(value[:index_wan])*10000#把万亿转换成亿if index_yi != -1 and index_wan == -1 and index_missing == -1:value=float(value[:index_yi])#把亿转换成亿if index_wan != -1 and index_yi == -1 and index_missing == -1:value=float(value[:index_wan])*(1e-4)#把万转化成单位为亿的数字if index_missing != -1 and index_yi == -1 and index_wan == -1:value=[]data_value.append(value)new_data.append(data_value)return new_data#主要经济指标的数据
eco=str2value(eco_split)
eco=pd.DataFrame(eco)
eco.columns=['年份','营业收入\亿元','营业利润\亿元','利润总额\亿元','净利润\亿元','资产总计\亿元','负债合计\亿元','股东权益合计\亿元']
print(eco.head())#处理营业能力的净资产收益率的百分号
#在索引为4列
#处理ope_split的
def percentage_num(data):new_data=[]for i in range(len(data)):data_value=[]for value in data[i]:index_percentage=value.find('%')#百分数标记index_point=value.find('.')#小数点标记index_missing=value.find('--')#缺失标记if index_percentage == -1 and index_point == -1 and index_missing ==-1:#转换整数value=int(value)if index_percentage != -1 and index_point !=-1 and index_missing ==-1:#转换百分比的数字value=float(value[:index_percentage])if index_point != -1 and index_percentage == -1 and index_missing ==-1:#转换浮点数value=float(value)if index_missing != -1 and index_percentage == -1 and index_point == -1:value=[]data_value.append(value)new_data.append(data_value)return new_data
#盈利能力(运营能力)
ope=percentage_num(ope_split)
ope=pd.DataFrame(ope)
ope.columns=['年份','销售毛利率\%','营业利润率\%','总资产利润率\%','净资产收益率\%','存货周转率','应收账款周转率\次','总资产周转率\次']
print(ope.head())#偿债能力
pay=percentage_num(pay_split)
pay=pd.DataFrame(pay)
pay.columns=['年份','资产负债率\%','股东权益比率\%','流动比率','速动比率']
print(pay.head())#成本能力
cost=str2value(cost_split)
cost=pd.DataFrame(cost)
cost.columns=['年份','营业成本\亿元','销售费用\亿元','管理费用\亿元','财务费用\亿元']
print(cost.head())
ope.drop(['年份'], axis = 1)
chongqing_A_stock_data=pd.concat([stock_code,eco.drop(['年份'], axis = 1),ope.drop(['年份'], axis = 1),pay.drop(['年份'], axis = 1),cost.drop(['年份'], axis = 1)],axis=1)
chongqing_A_stock_data.to_csv("./重庆A股上市公司.csv", mode='a', index=False, encoding="utf_8_sig")

这样咱们就把所有指标的数据爬取出来了。下面可以考虑通过一些分析方法如主成分分分析、因子分析对各个上市公司计算综合得分,进行质量评价。有空再写

这篇关于重庆市A股上市公司年度财务分析数据爬取的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/670415

相关文章

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

找不到Anaconda prompt终端的原因分析及解决方案

《找不到Anacondaprompt终端的原因分析及解决方案》因为anaconda还没有初始化,在安装anaconda的过程中,有一行是否要添加anaconda到菜单目录中,由于没有勾选,导致没有菜... 目录问题原因问http://www.chinasem.cn题解决安装了 Anaconda 却找不到 An

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密