本文主要是介绍爬虫（八十一）用requests和xpath爬取豆瓣电影评论，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
这篇文章，我们继续利用 requests 和 xpath 爬取豆瓣电影的短评，下面还是先贴上效果图：
1、网页分析
（1）翻页
我们还是使用 Chrome 浏览器打开豆瓣电影中某一部电影的评论进行分析，这里示例为《一出好戏》
和之前一样，我们可以通过构造 URL 获取全部网页的内容，但是这次我们尝试使用一种新的方法 —— 翻页
使用快捷键 Ctrl+Shift+I 打开开发者工具，然后使用快捷键 Ctrl+Shift+C 打开元素选择工具
此时用鼠标点击网页中的 后页，就会在源代码中自动定位到相应的位置
接下来我们用 xpath 匹配下一页的链接地址：
html.xpath('//div[@id="paginator"]/a[@class="next"]/@href')这样一来，我们只要在每一页中通过循环不断获取下一页的内容即可
核心代码如下：
这篇关于爬虫（八十一）用requests和xpath爬取豆瓣电影评论的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
