前言 最近在项目上遇到了批量插入的场景问题，由于每次需要插入超过 10w+ 的数据量并且字段也蛮多的导致如果使用循环单次插入的方式插入数据插入的效率不高。相信读者们在实际开发中也遇到过这样类似的场景，那么批量插入如何实现呢？ 其实我也是一知半解，之前只见过别人博客上的批量插入实现，对于实际优化上的细节以及优化的程度并不了解。所以正好借此机会，在这里认真地把批量插入的实现及优化过程实操一遍并记录

**思路来自喝口水先**近期的一篇博客 本篇博客适合小白巩固scrapy的使用 scrapy是python非常厉害的一个框架，说实话学了一段时间没有学太明白，视频可以看mooc的嵩天老师的爬虫课程，讲的非常不错，看完之后对scrapy的理解会更加深刻。 本篇博客主要用到了xpath和xpath helper 网页分析 80s电影网链接 首先链接点进去之后，页面会显示出25部电影，我们需要在这个