19年深圳杯D题之爬取实时收视率信息

前言

由于了解每个时段的收视率信息，这里爬取了酷云的数据

网站分析

进入酷云的界面，可以发现它的数据是通过Ajax获取
http://eye.kuyun.com/web/#epglist/225/深圳卫视

双击刚才的请求进去，可以直接拿到json数据，并没有过滤操作，使用直接用request请求即可。

广告表现也是一样的道理

具体代码

获得EPG信息直接写入文件

def get_EPG():response = requests.get("http://eye.kuyun.com/api/recent_epgs?tv_id=225")jsonStr = response.textjsonDict = json.loads(jsonStr)data = jsonDict['data']for item in data:print(item)with open('TV/0430EPG.txt', 'a', encoding='utf-8') as f:line = json.dumps(item)f.write(line + '\n')

由于json.dumps()处理了汉字，所以出现\u的字符不用担心，在json.loads()之后会变回正常的汉字

获得广告表现信息直接写入文件

def get_adv():response = requests.get("http://eye.kuyun.com/kuyun_eye_ad/cbd_public/perform?tv_id=225&day=2019-04-18")jsonStr = response.textjsonDict = json.loads(jsonStr)print(jsonDict)data = jsonDict['response']['result']['list']for item in data:print(item)with open('TV/0426adv.txt', 'a', encoding='utf-8') as f:line = json.dumps(item)f.write(line + '\n')