本文主要是介绍用Python爬虫爬了世纪佳缘后发现了一个秘密,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
今天在知乎上看到一个关于【世纪佳缘找对象靠谱吗?】的讨论,其中关注的人有 1903,被浏览了 1940753 次,355 个回答中大多数都是不靠谱。用 Python 爬取世纪佳缘的数据是否能证明它的不靠谱?
数据抓取
在 PC 端打开世纪佳缘网站,搜索 20 到 30 岁、不限地区的女朋友
翻了几页找到一个 search_v2.php 的链接,它的返回值是一个不规则的 json 串,其中包含了昵称、性别、是否婚配、匹配条件等等
点开 Hearders 拉到最下面,在它的参数中 sex 是性别、stc 是年龄、p 是分页、listStyle 是有照片
通过 url + 参数的 get 方式,抓取了 10000 页的数据总共 240116
需要安装的模块有 openpyxl
这篇关于用Python爬虫爬了世纪佳缘后发现了一个秘密的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!