排排专题

爬取私募排排网历史净值和破解加密数值

爬取私募排排网历史净值和破解加密数值 ​ 近期爬取了私募排排网上的历史净值,写一下爬取过程中的一些心得体会。 ​ 上面有很多的难点,例如直接利用selenium会被检测出反爬、爬取的数值被加密(页面上看到的和html中不一样,多了一些隐藏值)等等。爬取的方法主要就是selenium、正则、beautiful soup。这里先把这里使用的库导入。 from selenium import we

python爬取私募排排网基金产品心得

私募排排往设置了很多坑,刚开始走了不少弯路, 流程 私募排排网网址:https://www.simuwang.com 网页构造 私募网中每个基金产品的网址构造是 https://dc.simuwang.com/product/ +产品编号,如图: 私募网产品界面 如果想要查看产品内容,需要登录才能看。 requests # 添加请求头headers = {"Request URL":