首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
排排专题
爬取私募排排网历史净值和破解加密数值
爬取私募排排网历史净值和破解加密数值 近期爬取了私募排排网上的历史净值,写一下爬取过程中的一些心得体会。 上面有很多的难点,例如直接利用selenium会被检测出反爬、爬取的数值被加密(页面上看到的和html中不一样,多了一些隐藏值)等等。爬取的方法主要就是selenium、正则、beautiful soup。这里先把这里使用的库导入。 from selenium import we
阅读更多...
python爬取私募排排网基金产品心得
私募排排往设置了很多坑,刚开始走了不少弯路, 流程 私募排排网网址:https://www.simuwang.com 网页构造 私募网中每个基金产品的网址构造是 https://dc.simuwang.com/product/ +产品编号,如图: 私募网产品界面 如果想要查看产品内容,需要登录才能看。 requests # 添加请求头headers = {"Request URL":
阅读更多...