大众点评反爬

2024-04-09 09:32
文章标签 大众 点评 反爬

本文主要是介绍大众点评反爬,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大众点评美食类店铺信息部分被svg文件中的数据给代替了,所以爬取的时候抓不到,如上图所显示,经过仔细查找发现了span和svg中的数据的对应关系

数字和汉字在不同的svg文件中,他们的对应关系也不一样,但是都是与他们的css有关系,通过位置对应数据来加载界面,以后分开说明数字和汉字的对应关系

先说数字的对应关系

上图我们截取了数字“4”的相应数据,可以看到background中的(x:175,y:104)忽略正负

再来看看svg数据

发现y有三个值,到底那个是呢?我们暂时假设y=128中就有我们要找的“4”,再来看看x值怎么确定,在y=128这列值对应的粉红框中我们找到了三个“4”,记下它的位置信息,然后再x="12 24 36 48 60 72 84 96 108 120 132 144 156 168 180 192 204 216 228 240 252 264 276 288 300 312 324 336 348 360 372 384 396 408 420 432 444 456 468 480 492 504 516 528 540 552 564 576 588 600 612 624 636 648 660 672 684 696 708 720 732 744 756 768 780 792 804 816 828 840 852 864 876 888 900 912 924 936 948 960 972 984 996 1008 1020 1032 1044 1056 1068 1080 1092 1104 1116 1128 1140 1152 1164 1176 1188 1200 1212 1224 1236 1248 1260 1272 1284 1296 1308 1320 1332 1344 1356 1368 1380 1392 1404 1416 1428 1440 "这列数里去找出“4”相对应位置的数据,分别是和48,84,180,我利用180去反推他们的规律,得出来的规律是

                                          background.x + 5 = x

                                          background.y + 24 = y

利用此公式验证我们的结论后发现此公式就是我们要找得对应关系,你们可以尝试一下

接下来我们来找找汉字的对应关系,先来看看汉字的截图

汉字的svg数据通过抓包发现有两个接口,所以我们通过css属性确认到具体的svg接口,图中粉色链接就是,同样来利用抓取数字的方法来寻找替换汉字的规则,通过研究发现如下规则

                                           background.x / 12 = x

                                           background.y + 24 = y

以上是对应的替换规则,我们爬的时候就将css和相应的svg都抓取下来,通过上边的对应规则去替换成真实的数据即可,

还有一种解决办法就是利用等差数列去解决

这是我的方法,你们有更好的方法可以分享出来,如有问题或相应的爬虫需求,可以QQ加群,

                                                                     技术交流群号:526855734

同时希望大家支持我的创业项目蔻丁侠少儿创意编程,有兴趣的也可以一起聊聊,

 

                                                                        请大家关注公众号“蔻丁侠”或扫码关注

 

最后在告诉大家一句,这个规则不是永久的,改变了也不要慌,来找我,我帮大家找…… 哈哈哈哈哈哈

这篇关于大众点评反爬的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/887779

相关文章

黑马点评11——UV统计-HyperLogLog

文章目录 HyperLogLog的用法测试百万数据的统计 HyperLogLog的用法 简直就是天生用于UV统计的,太爽了! 测试百万数据的统计 /*** info memory* 2107168* 插入1000000条数据后,内存的变化* 2121552*/@Testvoid testHyperLogLog(){String[] values = new Stri

黑马点评10——用户签到-BitMap数据结构

文章目录 BitMap用法签到功能签到统计 BitMap用法 其实数据库完全可以实现签到功能 但签到数据比较大,借鉴签到卡的思想 布隆过滤器也是使用BitMap实现的. 签到功能 因为是当前用户的当天,所以保存需要的年月日不需要参数,可以直接获取。 @Overridepublic Result sign() {// 1. 获取当前登录用户Long userId

redis学习(011 实战:黑马点评:优惠券秒杀:redis实现全局唯一ID)

黑马程序员Redis入门到实战教程,深度透析redis底层原理+redis分布式锁+企业解决方案+黑马点评实战项目 总时长 42:48:00 共175P 此文章包含第48p-第p49的内容 文章目录 全局唯一ID编码 全局唯一ID //String did = dao.haveKeyId(“deputybedthing”); 这里的主键并没有自增长 店

黑马点评2——商户查询缓存(P37店铺类型查询业务添加缓存练习题答案)redis缓存、更新、穿透、雪崩、击穿、工具封装

文章目录 什么是缓存?添加Redis缓存店铺类型查询业务添加缓存练习题 缓存更新策略给查询商铺的缓存添加超时剔除和主动更新的策略 缓存穿透缓存空对象布隆过滤 缓存雪崩解决方案 缓存击穿解决方案基于互斥锁方式解决缓存击穿问题基于逻辑过期的方式解决缓存击穿问题 缓存工具封装 什么是缓存? 缓存也要考虑成本的问题,不是随便用的 添加Redis缓存 @Overridepu

黑马点评——商户查询缓存(P37店铺类型查询业务添加缓存练习题答案)redis缓存、更新、穿透、雪崩、击穿、工具封装

文章目录 什么是缓存?添加Redis缓存店铺类型查询业务添加缓存练习题 缓存更新策略给查询商铺的缓存添加超时剔除和主动更新的策略 缓存穿透缓存空对象布隆过滤 缓存雪崩解决方案 缓存击穿解决方案基于互斥锁方式解决缓存击穿问题基于逻辑过期的方式解决缓存击穿问题 缓存工具封装 什么是缓存? 缓存也要考虑成本的问题,不是随便用的 添加Redis缓存 @Overridepu

大众集团25届校招社招网申入职SHL测评题库:综合能力测评、性格问卷、英语测评考什么?

恭喜您通过大众汽车(中国)科技有限公司的简历初。请点击下面的测评链接,在5天内完成测评,过期失效(例:3.11收到链接,3.15为最后一天有效期)。每位人选只有一次测评机会。   ​大众汽车入职测试细节: 1.性格问卷:25 分钟 2.综合能力:46 分钟,需准备计算器、纸笔 3.SVAR-Spoken English(u.S.):15 分钟,需开启语音

网站反爬新招:一键封杀右键菜单,让你的网站数据稳如泰山,打造爆款防护秘籍!

引言 最近正在使用uniapp开发小程序,是一种跨平台技术,一次开发可以部署到多种环境,于是也顺手部署了h5网页版. 但是,突然想到那背后脆弱的接口设计,又不禁冒出一阵冷汗,也欢迎大家学习研究(结尾附网站地址)! 所以为了防止别有用心好奇宝宝窥探我的网站秘密,必须要做点什么整活,正在写文章的时候发现了右键菜单功能,给我提供了灵感. 我也可以这么玩的呀?不能右键也不影响我网页的功

【python】懂车帝字体反爬逐层解密案例(附完整代码)

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,PyQt5和Tkinter桌面应用开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django

大众点评点餐小程序开发经验

这是一个系列文章,美团点评点餐事业部前端团队分享了他们做小程序时积累的经验,里面不仅有小程序的原理,还有开发过程中遇到的问题和解决办法。 系列文章请见下: 大众点评点餐小程序开发经验 - 概述 大众点评点餐小程序开发经验 - 视图层 大众点评点餐小程序开发经验 - 逻辑层 大众点评点餐小程序开发经验 - 菜单联动设计 大众点评点餐小程序开发经验 - 源码解析 大众点评点餐小程序开发经

2017美团点评编程大赛资格赛 --- 音乐研究

时间限制:1秒 空间限制:32768K 美团外卖的品牌代言人袋鼠先生最近正在进行音乐研究。他有两段音频,每段音频是一个表示音高的序列。现在袋鼠先生想要在第二段音频中找出