ibox pc端数据爬取逆向总结

2023-12-04 04:50
文章标签 数据 总结 逆向 爬取 pc ibox

本文主要是介绍ibox pc端数据爬取逆向总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文总结了针对ibox平台的PC端数据爬取的思路及方式。虽然最终并没有达到目标,但是通过对这么严格的网站的爬取,也有不少收获,特此做篇总结,在此抛砖引玉。

  • 1、关键请求分析
  • 2、逻辑梳理
  • 3、python实现
  • 4、遗留问题

1、关键请求分析

爬取的目标是‘市场’这个tab页下每张图片的具体信息,如下:
在这里插入图片描述
ajax
目标请求
刷新几次页面,在devtools页面能看许多Ajax请求,针对每个请求的request、response数据观察,初步断定目标请求为https://web-001.cloud.servicewechat.com/wxa-qbase/container_service?token=58_3Z1Ivgc9xjXXug1DfvFa_xciBKRW8MM6i5KXI_UPIfr92biBmSjg-aFP16Lr1vLuO9ZtP633FMBoYrTr,因为该请求的出入参均为乱码,极有可能为关键数据,否则不至于这么隐蔽。至于究竟是什么宝藏,接着分析。

2、逻辑梳理

针对第一步的请求,观察该对应的调用链,即网络面板下的启动器,可以看到完整的调用链信息,打开最顶部的t.request,定位到该请求发起的那一刻所调用的方法,点击去查看源代码,左下角格式化后代码如下:
调用链
send

在这个方法处发起了request请求,但并没有相关的入参信息,说明参数的封装应该在之前,回到启动器的调用链中,找到调用栈中当前函数的上一个函数,再打开,如下:
构造参数
在这里可以看到request的入参构造逻辑,url、header、data的核心逻辑就在这里,继续!

2.1 url的构造

URL对应的变量为M,其实就是这个Ajax请求对应的URL。url
关键在于token参数的获取,有两种思路。一种是当前Ajax请求中构造token,另一种是之前的Ajax请求先获取token,再应用到之后的Ajax请求中。我们在当前的逻辑中可以看到url由变量i.url赋值,并且token也位于i.token之中,而i是函数的入参,整个逻辑梳理下来并没有发现token的生成逻辑,目前来看答案倾向于第2种思路。
顺着这个思路再排查下之前的Ajax请求,有多个https://web-001.cloud.servicewechat.com/wxa-qbase/jsoperatewxdata请求,为post方式,入参不同对应的response也不同,并且response中的data也都是密文,至于是什么数据以及什么加密方式我们暂时无法获知,但是能够发现排在最前面的/jsoperatewxdata请求中,response的data里有token,并且之后的Ajax请求所携带的token均为该值,进一步验证了第2种思路是正确的。
token

所以我们可以通过先发起这个请求来获取token,再构造目标请求。

对于这个前置的请求我们暂且不做深入分析,先把目标请求逻辑梳理清楚再来盘它。

2.2 header的构造

header对应的变量为E,顺藤摸瓜会发现E相关的逻辑只有2处,一处为初始化,一口气构造了7个属性,其中有2个属性值为变量,倒也不复杂,就是时间戳超时时间,关于时间戳这个属性值其实暗含着逻辑,并不是随意生成的,这个后面再细说;另外一处构造了X-WX-REQUEST-CONTENT-ENCODING属性,即入参编码格式,至于是PB还是JSON,通过断点验证发现该属性值为后者JSON
header参数
到此,header逻辑也梳理清楚了。

2.3 data的构造

data对应的变量为L,它的逻辑相对复杂些,如下图:
data
L变量依赖的变量及相关操作如下:

data
L:AES加密
N:snappy压缩
b:整合实际请求
O:实际请求的header
v:实际请求的body
g:当前时间戳
y:header信息
c:函数入参
x:AES加密秘钥

抽丝剥茧一层层来看:
①data对应字节数组L
L对应的是变量N进行AES加密后的结果,AES加密用到的秘钥VI向量均为变量x
x对应的是i.key,我们在获取url的token时也是从变量i中获取i.token,那么i.key也可能是同样的逻辑,回到/jsoperatewxdata请求中,发现i.key的值果然来源于这里,所以我们可以得出这样的结论:

/jsoperatewxdata请求目的在于获取 token 以及AES加密的秘钥key

N对应的是变量b,即对b进行snappy压缩,减少数据传输的大小
b对应的是多个变量,以字典结构构建,如下

b = new Uint8Array(s.stringToArrayBuffer(JSON.stringify({method: c.method || "GET",header: O,body: v,call_id: g})))

变量b竟然也是一个request格式,通过断点调试会发现,b其实是真实的后台http请求。初步推断后台架构应该如下:

A:用户请求
B:网关
C:数据服务

A节点的用户Ajax请求,也即我们在devtools面板看到的请求;请求发出后先到B节点的网关,用于鉴权和风控;B节点过滤掉恶意请求,正常请求转到C节点,获取数据。而变量b对应的就是这个到达C节点的请求信息。
O对应的变量是yy对应的变量cc为函数入参,y其实内容打断点后就可以获取到,如下

Accept-Language: "zh-CN"
HOST: "api-h5-tgw.ibox.art"
IB-DEVICE-ID: "设备ID"
IB-PLATFORM-TYPE: "web"
IB-TRANS-ID: "事务ID"
User-Agent: ""
X-WX-CALL-ID: "0.0120842696790322_1657627670840" #随机数_时间戳
X-WX-CONTAINER-PATH: "/nft-mall-web/v1.2/nft/product/getResellList?type=0&origin=0&sort=0&page=1&pageSize=50" #真实的后台请求
X-WX-ENV: "ibox-3gldlr1u1a8322d4"
X-WX-EXCLUDE-CREDENTIALS: "unionid, cloudbase-access-token, openid"
X-WX-GATEWAY-ID: "gw-1-1g2n1gd143d56b56"
X-WX-REGION: "ap-beijing"
X-WX-RESOURCE-APPID: "你的APPID"
content-type: "application/json"

我们只需要把该替换的替换掉,就可以mock出1个真实的header。
注意:O为字典形式,并且key为小写,y为字符串形式。
v对应的变量是"undefined",因为该请求为GET请求,所有参数都拼接在url中。v的值我们同样打断点就可以获取到。
g由当前时间戳和随机数拼接而成

如上,我们已经把整体逻辑梳理完毕,接下来开始用Python实现

3、Python实现

以下逻辑实现了上面提到的2个Ajax请求,第1个Ajax请求用于获取token/key/timestamp,作为目标请求的入参。

至于为什么要用到timestamp变量,这是因为服务端在进行AES解密的时候需要知道用哪个key。每个客户端的key并不相同,个人推断服务端做了 时间戳 和 key的关联,所以在用户把时间戳提交上去的时候,服务端就根据时间戳拿到了对应的key,然后进行解密。
所以第二次Ajax请求的timestamp不是随意赋值的。

import base64import requests
import json
import time
from Crypto.Cipher import AES
import httpx
import snappy
from ibox.js.PyExecJsDemo import get_byteskey_url = 'https://web-001.cloud.servicewechat.com/wxa-qbase/jsoperatewxdata'def get_headers(timestamp):headers_2 = {'Content-Type': "application/octet-stream",'X-WX-COMPRESSION': "snappy",# AES秘钥key对应的时间戳'X-WX-ENCRYPTION-TIMESTAMP': str(timestamp),'X-WX-ENCRYPTION-VERSION': '2','X-WX-LIB-BUILD-TS': '1655460325335','X-WX-REQUEST-CONTENT-ENCODING': "JSON",'X-WX-RESPONSE-CONTENT-ACCEPT-ENCODING': "PB, JSON",'X-WX-USER-TIMEOUT': '30000'}return headers_2def parse_compress_data():headers_list = []headers = {'Accept-Language': "zh-CN",'HOST': "api-h5-tgw.ibox.art",'IB-DEVICE-ID': "9ad7fdb73e434a6daf339a1e6298a0ca",'IB-PLATFORM-TYPE': "web",'IB-TRANS-ID': "42e46cf8a01d4e2587d2c96cd31e3f3d",'User-Agent': "",'X-WX-CALL-ID': "0.9000717952766866_1657361554363",'X-WX-CONTAINER-PATH': "/nft-mall-web/v1.2/nft/product/getResellList?type=0&origin=0&sort=0&page=1&pageSize=50",'X-WX-ENV': "ibox-3gldlr1u1a8322d4",'X-WX-EXCLUDE-CREDENTIALS': "unionid, cloudbase-access-token, openid",'X-WX-GATEWAY-ID': "gw-1-1g2n1gd143d56b56",'X-WX-REGION': "ap-beijing",'X-WX-RESOURCE-APPID': "wxe77e91c2fdb64e85",'content-type': "application/json",}call_id = "0.9000717952766867_" + str(int(time.time() * 1000))for k, v in headers.items():k = k.lower()if 'x-wx-call-id' == k:v = call_idheaders_list.append({'key': k,'value': v# k: v})header_body = {"method": "GET","header": headers_list,"body": "undefined","call_id": call_id}header_body_arr = bytes(json.dumps(header_body).encode('utf-8'))header_body_c = snappy.compress(header_body_arr)return header_body_c# 需要补位,str不是16的倍数那就补足为16的倍数
def add_to_16_byte(value):while len(value) % 16 != 0:value += b'\0'return valuedef aes_encrypt(key_bytes, text):# 增加vi向量aes = AES.new(key_bytes, AES.MODE_CBC, key_bytes)bytes = aes.encrypt(add_to_16_byte(text))return bytesdef get_key_token():headers = {'Accept': '*/*','Accept-Encoding': 'gzip, deflate, br','Accept-Language': 'zh-CN,zh;q=0.9','Cache-Control': 'no-cache','Connection': 'keep-alive','Content-Length': '626','Content-Type': 'application/json','Host': 'web-001.cloud.servicewechat.com','Origin': 'https://www.ibox.art','Pragma': 'no-cache','Referer': 'https://www.ibox.art/','sec-ch-ua': '".Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': 'Windows','Sec-Fetch-Dest': 'empty','Sec-Fetch-Mode': 'cors','Sec-Fetch-Site': 'cross-site','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}data = {"appid": "wxe77e91c2fdb64e85","data": {"qbase_api_name": "tcbapi_get_service_info","qbase_req": "{\"client_random\":\"0.2826657173143865_1657318155306\",\"system\":\"\"}","qbase_options": {"identityless": "true","resourceAppid": "wxe77e91c2fdb64e85","resourceEnv": "ibox-3gldlr1u1a8322d4","config": {"database": {"realtime": {"maxReconnect": 5,"reconnectInterval": 5000,"totalConnectionTimeout": "null"}}},"appid": "wxe77e91c2fdb64e85","env": "ibox-3gldlr1u1a8322d4"},"qbase_meta": {# "session_id": "1657318155315","session_id": str(int(time.time() * 1000)),"sdk_version": "wx-web-sdk/WEBDOMAIN_1.0.0 (1655460325000)","filter_user_info": False},"cli_req_id": str(int(time.time() * 1000)) + "_0.5101258021009685"}}response = requests.post(url=key_url, headers=headers, json=data)content = json.loads(response.content)if content:data = json.loads(content.get('data'))token = data.get('token')key = data.get('key')timestamp = data.get('timestamp')print(token, key, timestamp)return key, token, timestampdef get_request():base_url = 'https://web-001.cloud.servicewechat.com/wxa-qbase/container_service?token='key, token, timestamp = get_key_token()base_url += tokendata = parse_compress_data()key_bytes = get_bytes(key)aes_data = aes_encrypt(key_bytes, data)headers = get_headers(timestamp)with httpx.Client(http2=True) as client:response = client.post(base_url, headers=headers, content=aes_data)print(response.content)if __name__ == '__main__':get_request()

在AES加密环节使用的是秘钥key的byte格式,但并不是简单的字符串转bytes,而是按照自定义的规则进行转换,鉴于python实现比较复杂,于是这里使用了python的pyexecjs库来模拟执行js代码,逻辑如下:

import execjsprint(execjs.get().name)js_method = '''
var y = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";function base64ToArrayBufferMock(e) {for (var t = function(e) {var t = String(e).replace(/=+$/, ""), r = "";if (t.length % 4 == 1)throw new Error('"atob" failed');for (var n = 0, i = void 0, o = void 0, a = 0;o = t.charAt(a++);~o && (i = n % 4 ? 64 * i + o : o, n++ % 4) ? r += String.fromCharCode(255 & i >> (-2 * n & 6)) : 0)o = y.indexOf(o);return r}(e), r = t.length, n = new Uint8Array(r), i = 0; i < r; i++)n[i] = t.charCodeAt(i);return n
}
'''
loader = execjs.compile(js_method)def get_bytes(secret_key):result = loader.call('base64ToArrayBufferMock', secret_key)arr = []for k, v in result.items():arr.append(v)secret_key_bytes = bytes(arr)return secret_key_bytesif __name__ == '__main__':result = get_bytes("zkXsdQURgkDefISbA6prjw==")print(result)

注意:pyexecjs库依赖JavaScript运行环境,所以需要安装好node.js

4、遗留问题

  • 如上的逻辑并不能绕过目标网站的反爬机制,这里抛砖引玉,哪位同学有更好的思路也希望不吝赐教。
  • 核心js文件的console.log()打印不生效,目前未定位到是如何禁用的。

这篇关于ibox pc端数据爬取逆向总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/452176

相关文章

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

java常见报错及解决方案总结

《java常见报错及解决方案总结》:本文主要介绍Java编程中常见错误类型及示例,包括语法错误、空指针异常、数组下标越界、类型转换异常、文件未找到异常、除以零异常、非法线程操作异常、方法未定义异常... 目录1. 语法错误 (Syntax Errors)示例 1:解决方案:2. 空指针异常 (NullPoi

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.