2019独角兽企业重金招聘Python工程师标准>>> 一、背景 在平常爬取过程中会遇到很多结构不同和渲染方式不同的网站，比如这次的宝筹贷，它的列表页渲染方式和详情页的渲染方式是不一致的，详情页和投资记录的数据渲染方式则一致。遇到这样的数据，通常的应对方法有两种： 1.scrapy直接请求接口地址即可，模拟登录或者甚至不用登录，像爬取乐助贷、够力金融、汇泰在线这些平台一样，直接从接口拿