本文主要是介绍自学笔记1--爬虫分析中国人民银行货币政策报告1,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
看Python爬虫这么火,自学一下,搞个小项目练练手。
目标爬下每个季度的中国人民银行货币政策执行报告,分析其中看上去最重要的“中国宏观经济形势”和“下一阶段主要政策思路”,分析其每个自然段的第一句话的变化情况。结合利率市场和M2投放量数据看看相互间的关系,写一篇知乎文章出来。
这个项目以为比较简单的,但是实施起来发现难度很大。。。主要还是我太水。。。
主体需要做的内容,首先从 央行官网把政策报告都下载下来,然后pdfminer把PDF转成文本,分析其中文本。
主要遇上的坑:
1. 直接用beautifulsoup似乎不行,findall("a")一个链接都没找到,诡异的很。只好换了selenium。
2. 很多教材上都是用selenium+phantomJS,然后phantomJS已经不更新了。换用Chromedriver解决。
原先以为内容分析难一点,所以爬虫是后做的。下面一行命令
pdf2txt.py samples/simple1.pdf
就可以输出TXT格式,现在还没批量搞,所以没用更高级的方法。
拿到TXT之后读入,思路就是找到第二次出现“一、中国宏观经济展望”的位置,然后读到尾。似乎每个自然段都是“句号+空格+回车”结束的。所以以此分割之后,把50字以内的自然段扔掉。第一个句号前面的就是第一句了。
这篇关于自学笔记1--爬虫分析中国人民银行货币政策报告1的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!