python提取钢铁数据走势图中的数据

目标网址: https://index.mysteel.com/price/indexPrice.html
要求: 上图信息中的钢铁数据走势图中的数据

先来看看是什么亚子的：

要的数据还是蛮好找的：

代码也是好写，舒舒服服顺顺利利：

import requests
import re
import json
import pprinturl = 'https://index.mysteel.com/newprice/getChartMultiCity.ms'
params = {'callback': 'callback'
}
form_data = {'catalog': '%E8%9E%BA%E7%BA%B9%E9%92%A2_:_%E8%9E%BA%E7%BA%B9%E9%92%A2','city': '%E4%B8%8A%E6%B5%B7,%E5%8C%97%E4%BA%AC,%E5%B9%BF%E5%B7%9E','spec': 'HRB400%2020MM_:_HRB400_20MM','startTime': '2019-05-22','endTime': '2020-05-22'
}
headers = {'Host': 'index.mysteel.com','Origin': 'https://index.mysteel.com','Referer': 'https://index.mysteel.com/price/indexPrice.html','User-Agent': 你的user-agent
}
response = requests.post(url=url, params=params, data=form_data, headers=headers).text
# print(response)
rst = re.findall('callback\((.*?)\)', response, re.S)[0]
# print(rst)
res_dict = json.loads(rst)
title = res_dict['title']
print(title)
pat = '"lineName":"(.*?)","dateValueMap":\[(.*?)\]'
result = re.findall(pat, rst, re.S)
# print(result)
for i in range(0, 3):print(result[i])

结果：

你也可以把他存到excel或者csv之类的