服务端nodejs抓取jsonp接口数据

2024-04-11 17:58

本文主要是介绍服务端nodejs抓取jsonp接口数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

众所周知,jsonp 接口返回的是一段 js 脚本,在浏览器中使用 script 标签引入、加载成功后,会直接执行其中的脚本方法,以参数的形式直接返回真正有用的接口数据,以此达到跨域请求的目的。但是如果在非浏览器环境(node执行环境)中怎么来抓取呢,本文就主要介绍一下,服务端nodejs抓取jsonp接口数据 的思路方法和踩过的坑。

Node+Axios Jsonp

前言

出于好奇,最近在研究使用 node 程序分析股票的数据,看看能不能找到一些规律。
但前提是要获取一批数据,所以查看了几个相关的网站平台,通过开发者工具的 network 查看,其中接口数据基本都是使用 jsonp 格式的。

温馨提示: 不要过度频繁爬取数据,可能涉及网络安全问题。

方法思路

  1. node 服务端使用 axios 获取 jsonp 返回的内容
  2. 使用 typeof 查看返回内容的类型
  3. 解析 jsonp 返回的内容、执行其中的 callback 方法

关键在于这第三步,在 node 环境中如何动态的执行这一段 String 类型的代码。

Node环境动态执行脚本

  1. eval()

直接调用,使用本地作用域。

function test() {let x = 10, y = 20;let sum = eval('x + y')console.log(sum);  // 30
}
  1. Function

eval 不同的是,Function 创建的函数只能在全局作用域中运行。
test() 执行会报错:ReferenceError: x is not defined

// 报错
function test() {let x = 10, y = 20;let fn = new Function('return x + y')let sum = fn()console.log(sum) // ReferenceError: x is not defined
}// 正常执行
global.x = 10
global.y = 20
function test() {let fn = new Function('return x + y')let sum = fn()console.log(sum) // 30
}
  1. vm.runInThisContext (推荐)

vmnode 的核心模块,vm 可以使用 v8Virtual Machine contexts 动态地编译和执行代码,而代码的执行上下文与当前进程隔离。
被执行的代码无法获取本地作用域,只能在当前的 global 对象的上下文中编译并执行 code

const vm = require('vm')global.x = 10
global.y = 20
function test() {let sum = vm.runInThisContext('x + y')console.log(sum) // 30
}

完整代码实现

// index.jsconst vm = require('vm')
const axios = require('axios')// 在 global 对象上挂载对应的 callback 方法
global.jQuery11230971606670044967_1649312313646 = function(res) {// jsonp 接口返回的数据console.log(res)// do something
}async function getData() {let { data } = await axios({url: 'https://push2.eastmoney.com/api/qt/clist/get?cb=jQuery11230971606670044967_1649312313646&fid=f62&po=1&pz=10&pn=1&np=1&fltt=2&invt=2&fs=m%3A90+t%3A3&stat=1&fields=f12%2Cf14%2Cf2%2Cf3%2Cf62%2Cf184%2Cf66%2Cf69%2Cf72%2Cf75%2Cf78%2Cf81%2Cf84%2Cf87%2Cf204%2Cf205%2Cf124&ut=b2884a393a59ad64002292a3e90d46a5'})// 查看返回内容的类型console.log(typeof data)// 执行 callbackvm.runInThisContext(data)
}// 调用抓取数据的方法
getData()

特别提醒:
浏览器环境与 Node 执行环境挂载全局对象是有区别的。
在浏览器环境中,全局作用域可以使用 var 来声明一个变量或方法,会自动挂载到 window 对象上;
但是在 Node 环境中,每个文件或者模块,都会被封闭在一个单独的作用域,因此不管在哪里声明的变量,相对于当前模块或文件,都是在局部作用域,不会自动挂载到全局 global 对象中,如果要使用必须手动去挂载。

欢迎访问:天问博客

这篇关于服务端nodejs抓取jsonp接口数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/894788

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

go中空接口的具体使用

《go中空接口的具体使用》空接口是一种特殊的接口类型,它不包含任何方法,本文主要介绍了go中空接口的具体使用,具有一定的参考价值,感兴趣的可以了解一下... 目录接口-空接口1. 什么是空接口?2. 如何使用空接口?第一,第二,第三,3. 空接口几个要注意的坑坑1:坑2:坑3:接口-空接口1. 什么是空接

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解