本文主要是介绍Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
##Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？
大数据时代，百万行及以上数据如何处理？–PowerQuery（PQ）是不错的选择。
通常来讲，百万行数据我们只需要用到其中的一部分，或者只是作统计
excel支持100万行数据，但是用excel打开较大的数据很慢（30M及以上）、超100万行的部分会被截掉、即使打开了操作经常会无响应（特别是带了公式，还没关掉自动计算）；或许只能把数据切割后，分次操作。总之，效率很低，无法忍受的低。
简单讲下我自己如何用PQ实现的：
- 有个csv文件，643M，没法直接打开所以多少万行我也不清楚(╥_╥)
- csv加载到PQ中
新建一张空表，PQ导入这个大家伙。
点击编辑，进入编辑界面。
3. PQ中整理
比如，我想要看下CO_OBJECT_INSTANCE列有哪些数据，因为PQ无法加载所有数据，所以对这一列去重复项，那么就可以得到这列有哪些数据。
为了提高速度，右键CO_OBJECT_INSTANCE列，删除其他列；
删完了，这样：
立马我后悔了，突然想起另外还有几列要一起保留；PQ可以悔棋！
又回来了，这次好好选一下，选了3列，点删除其他列。
可以了，下一步。
右键CO_OBJECT_INSTANCE列，删除重复项。
- 加载到表格
关闭并上载，右边的数字在跳转圈，等跑完。
删完重复项，得到16369行。
随机抽了几个校验下（464079、279149），里面确实有我想要的数据，而且这一列都是唯一的。
上面的例子，从643M的海量数据里面，提取了符合条件的16369行，总计花费3~4分钟。整体的效率可以说非常高！
基于这个数据，我可以再次用PQ查找、整理提取更多相关的数据。同时，可以发现PQ的操作界面和excel很相似，熟悉excel的朋友很快就能上手。
- 总结
PowerQuery处理数据的过程类似于SQL操作，关联数据源后并不会加载整个文件，而是截取前面一小节数据显示（200行），大文件加载速度也很快。
根据这一段显示的数据，我们可以在海量数据中设置各种条件查找、整理、统计，设置条件过程中会校验是否有错；调试通过后关闭上载，PQ就会遍历整个文件，把符合条件的数据摘出来输出到excel中，源数据不改动。当然，源数据中有改动，直接刷新整个查询结果也会更新，它是动态的。
例子里做的各种操作，其实都被翻译成了M语言。通过点选无法实现的操作，可以通过M语言来抽象编写实现进阶操作。
PQ支持的多种数据源，甚至可以连数据库。多表或多数据源直接可以合并查询（高级版vlookup），方便快捷。支持sql语句查询！
所以，整理大数据的时候，可以考虑使用下PowerQuery。
如果本文帮助有帮助到你，记得鼓励一下哦~(⊙ᗜ⊙)
这篇关于Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
