本文主要是介绍自动提取知乎专栏下面所有的文章,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
这篇文章教导怎么自动化提取特定知乎专栏中所有的文章。
这里随便找一个专栏作为示例进行测试一下。
这里使用的专栏为:Dizzy In Science
在chrome下打开这个专栏的源码,可以看到对应着文章链接的xpath路径为
xpath = "/html/body/div[1]/div/main/div/section/div"
可以看到在初始打开专栏的情况下,只会一次性加载10篇文章,在对专栏进行向下滑动的时候,在到达当前最后一篇文章的时候,又会一次性加载10篇文章。
可以看到这里又额外加载了10篇文章,总共加载了20篇文章。
可以直接一次性对专栏拉到底,就可以从这个xpath中获取所有的文章列表,然后自动化提取就可以得到所有的文章链接了。
这篇关于自动提取知乎专栏下面所有的文章的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!