Python财经股票数据保存表格文件 <雪球网>

2023-11-29 10:28

本文主要是介绍Python财经股票数据保存表格文件 <雪球网>,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

嗨喽,大家好呀~这里是爱看美女的茜茜呐

环境使用:

  • Python 3.10 解释器

  • Pycharm 编辑器


👇 👇 👇 更多精彩机密、教程,尽在下方,赶紧点击了解吧~

python源码、视频教程、插件安装教程、资料我都准备好了,直接在文末名片自取就可


模块使用:

  • import requests —> 数据请求模块 pip install requests

  • import csv -> 保存csv表格

  • import pandas -> 可以实现保存Excel表格文件 pip install pandas

如何安装python第三方模块:

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

  2. 在pycharm中点击Terminal(终端) 输入安装命令

爬虫实现流程: <基本公式 可以套用>

一. 数据来源分析
1. 明确需求: 明确采集的网站以及数据内容- 网址: 雪球网- 数据: 股票数据
2. 抓包分析: 分析 股票数据, 可以请求那个网址能够得到- 打开开发者工具: F12 / 右键点击检查选择 network (网络)- 点击第二页数据
数据包: https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page=2&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha请求网址:请求方式:请求头:
二. 代码实现步骤
1. 发送请求 -> 模拟浏览器对于url发送请求
2. 获取数据 -> 获取服务器返回响应数据 <整个数据>
3. 解析数据 -> 提取我们需要数据
4. 保存数据 -> 保存表格文件 < csv / Excel > 中

代码展示:

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
# 导入数据请求模块 <需要安装>
import requests
# 导入格式化输出模块
from pprint import pprint
# 导入csv模块
import csv
# 导入pandas模块 <需要安装>
import pandas as pd

“”"

保存表格文件

  1. csv -> csv模块
  2. Excel -> pandas模块

“”"

# 创建文件对象
f = open('股票.csv', mode='w', encoding='utf-8', newline='')
# fieldnames 字段名 表头一行数据 <前面保存字典的键>
csv_writer= csv.DictWriter(f, fieldnames=['股票代码','股票名称','当前价','涨跌额','涨跌幅','年初至今','成交量','成交额','换手率','市盈率(TTM)','股息率','市值',
])
# 写入表头
csv_writer.writeheader()
# 创建一个空列表
content_list = []

“”"

发送请求 -> 模拟浏览器对于url发送请求

  • 模拟浏览器: headers 请求头
    • 从浏览器开发者工具中直接复制
    • 字典数据类型, 构建完整键值对形式
  • 请求网址:
    从浏览器开发者工具中直接复制
  • 发送请求:
    需要requests模块 -> pip install requests

<Response [200]> 响应对象 表示请求成功

“”"

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
# 模拟浏览器
headers = {'Cookie': 's=av17ye9exq; xq_a_token=cf755d099237875c767cae1769959cee5a1fb37c; xq_r_token=e073320f4256c0234a620b59c446e458455626d9; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTcwMTk5NTg4MCwiY3RtIjoxNzAwNTYzOTE3MDU2LCJjaWQiOiJkOWQwbjRBWnVwIn0.EbAa9h0fB9H_sH415f3x8r2CQiKmPbXZMnuKCy401scB1lMQKOffws6WTwPD2UzFWnntYxIQYSJpX509VUYYgCQkZ_bYtLbtYd5PfxLhWx7coauYA4d3x5aZolzB3eP5IthaYAb0Kbj3MPK8LVRBhABpRGr4wajISuABFNezroM_-5dpiOYK7Rk0UXtU2Qhrzxi1BVCgFUhPP-oR_vKenBw5tLzSqa6aO7CukgI7JVb-6LiymuBquE8FE-de8Vs3evai0fvtjiqryrH3EWM3nmDQIayigHRrYo595bD32kUPP4swHF5U2fwbLHTntIRAm9LsXn8sVf-6sUdgHoYZGg; cookiesu=931700563933974; u=931700563933974; device_id=5da9e0ae658f9fcd3d89078312131fb7; Hm_lvt_1db88642e346389874251b5a1eded6e3=1700563934; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1700563934','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
for page in range(1, 58):print(f'==============正在采集第{page}页数据内容==============')# 请求网址url = f'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha'# 发送请求response = requests.get(url=url, headers=headers)

“”"

获取数据 -> 获取服务器返回响应数据 <整个数据>

  • response.text 获取响应文本数据 <字符串>
  • response.json() 获取响应json数据 <json数据 大部分情况字典数据>
  • response.content 获取响应二进制数据 <保存图片/视频/音频/特定格式文件的时候>

解析数据 -> 提取我们需要数据

解决数据方法根据获取数据来选择的:

字典取值方法 -> 键值对取值 (根据冒号左边的内容[键], 提取冒号右边的内容[值])

“”"

'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''json_data = response.json()  # 返回json字典数据# for循环遍历for index in json_data['data']['list'][1:]:# 提取数据保存到字典里面, 方便后续保存表格文件dit = {'股票代码': index['symbol'],'股票名称': index['name'],'当前价': index['current'],'涨跌额': index['chg'],'涨跌幅': index['percent'],'年初至今': index['current_year_percent'],'成交量': index['volume'],'成交额': index['amount'],'换手率': index['turnover_rate'],'市盈率(TTM)': index['pe_ttm'],'股息率': index['dividend_yield'],'市值': index['market_capital'],}# 保存数据csv_writer.writerow(dit)# 把字典添加到空列表里面content_list.append(dit)print(dit)data = pd.DataFrame(content_list)
data.to_excel('股票.xlsx', index=False)

小知识点:

  • 汉化: file -> setting -> plugins -> 搜索Chinese

  • 批量替换方法:

    1. 选择替换的内容

    2. ctrl + R

    3. 输入正则命令进行需要替换的内容

      :.*  (.*?): (.*)
      ,   '$1': '$2',
      

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦 🛬

希望本篇文章有对你带来帮助 🎉,有学习到一点知识~

躲起来的星星🍥也在努力发光,你也要努力加油(让我们一起努力叭)。

最后,宣传一下呀~👇👇👇更多源码、资料、素材、解答、交流皆点击下方名片获取呀👇👇

这篇关于Python财经股票数据保存表格文件 <雪球网>的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/432477

相关文章

Python运行中频繁出现Restart提示的解决办法

《Python运行中频繁出现Restart提示的解决办法》在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的Python程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼... 目录问题描述代码示例无限循环递归调用内存泄漏解决方案1. 检查代码逻辑无限循环递归调用内存泄漏2.

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》:本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

如何将Python彻底卸载的三种方法

《如何将Python彻底卸载的三种方法》通常我们在一些软件的使用上有碰壁,第一反应就是卸载重装,所以有小伙伴就问我Python怎么卸载才能彻底卸载干净,今天这篇文章,小编就来教大家如何彻底卸载Pyth... 目录软件卸载①方法:②方法:③方法:清理相关文件夹软件卸载①方法:首先,在安装python时,下

python uv包管理小结

《pythonuv包管理小结》uv是一个高性能的Python包管理工具,它不仅能够高效地处理包管理和依赖解析,还提供了对Python版本管理的支持,本文主要介绍了pythonuv包管理小结,具有一... 目录安装 uv使用 uv 管理 python 版本安装指定版本的 Python查看已安装的 Python

使用Python开发一个带EPUB转换功能的Markdown编辑器

《使用Python开发一个带EPUB转换功能的Markdown编辑器》Markdown因其简单易用和强大的格式支持,成为了写作者、开发者及内容创作者的首选格式,本文将通过Python开发一个Markd... 目录应用概览代码结构与核心组件1. 初始化与布局 (__init__)2. 工具栏 (setup_t

Python中局部变量和全局变量举例详解

《Python中局部变量和全局变量举例详解》:本文主要介绍如何通过一个简单的Python代码示例来解释命名空间和作用域的概念,它详细说明了内置名称、全局名称、局部名称以及它们之间的查找顺序,文中通... 目录引入例子拆解源码运行结果如下图代码解析 python3命名空间和作用域命名空间命名空间查找顺序命名空