如何用Python爬取创业板历史+实时股票数据!

2024-03-25 19:59

本文主要是介绍如何用Python爬取创业板历史+实时股票数据!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

(永久免费,扫码加入)

本文章是付费阅读,已经购买小册的同学,可以不用看。

我的小册:小白零基础用Python量化股票分析小册

股票的实时数据,历史数据有很多方法可以获取,比如我们可以通过爬虫从东方财富网,新浪财经,或者是券商的qmt软件获取,也可以通过一些专业的第三方的库取获得,只是有一些库是需要收费的,最廉价的方式就是通过爬取获得,我们以爬取创业板股票为例子,进行演示。

1.股票的网站接口分析

1).打开东方财富网的网站,建议用谷歌浏览器打开

6daf8622d1dda88b798697ecc88246e0.png

可以看到很多创业板的股票数据,而且是实时的数据,我们选一个股票进行分析,比如第一个300001 ,点击打开它的数据。

8fce8c77c1a3682189f36b2c66637ccb.png

随便找一个空白的地方,点击右键,选择检查,进入网页分析页面。可以发现我们不停的刷新页面,网页的内容有变化,但是网页的url完全不变,也就是说该网站采用了Ajax技术,是动态的从服务器上拉数据的。

稍微科普一下啥叫Ajax技术,传统的网页请求是同步的,即用户每次操作(如点击链接、提交表单)时,整个页面都会重新加载或跳转。Ajax 的核心是 JavaScript 的 XMLHttpRequest 对象,它允许网页在不重新加载整个页面的情况下与服务器交换数据并更新部分网页内容。这意味着可以在网页已经被用户加载之后异步地从服务器请求新的数据或提交数据。

这样做的好处,可以局部更新,减轻网络的负担,加快页面加载速度。

c6706bbd9778629249e4c1754478bcc4.png

打开Network 然后刷新网页,找到get?cb 这样的请求的网页的链接,点开看右边部分,有一个Header 看到里面请求的url,这个我们要找的链接,把它copy出来。

这么一长串的代码,里面都是复杂的字符,我们看到有一个30001 这个股票代码,其实这个就是我们请求的创业板股票的代码,我们如果要获取多只股票的数据,只要替换这里即可。

然后检查一下response里面的k线数据,点右边的Response就可以看到具体的data数据信息。

33ca818637a7dc6374915dcce056a1d4.png

这个jQuery 里面data部分就是我们要的数据。

2.股票数据爬取

上面我们已经找到了最关键的url ,下面就可以开始爬取了,目前东财还是非常友善的,我们不需要伪装headers, 可以直接爬取。

第一步先解析网页

假如我们要爬取的股票代码从0-1 ,也就是300000-300001,因为创业板默认都是30开头的,目前1600多家,我们先爬取一家:

这篇关于如何用Python爬取创业板历史+实时股票数据!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/846100

相关文章

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

在C#中调用Python代码的两种实现方式

《在C#中调用Python代码的两种实现方式》:本文主要介绍在C#中调用Python代码的两种实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C#调用python代码的方式1. 使用 Python.NET2. 使用外部进程调用 Python 脚本总结C#调