首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
某家专题
python爬虫实战(7)--获取it某家热榜
1. 需要的类库 import requestsfrom bs4 import BeautifulSoupimport pandas as pd 2. 请求榜单 def fetch_ranking_data():url = "https://m.ithome.com/rankm/"response = requests.get(url)if response.status_code =
阅读更多...
用 Scrapy 抓取某家的楼盘信息
最近想爬点东西,又不想造轮子,就用上了scrapy,顺便记录下自己踩过的坑和都做了些什么。 使用的软件版本: Python 3.5.x ipython 5.1.x scrapy 1.4 准备阶段(在动手写之前,一定要先观察好标签位置!): 这里使用Firefox的插件firebug对进行页面标签确定: 该页面有好几个楼盘信息,所以在看到上面的<li>标签后,应
阅读更多...