本文主要是介绍《Learning Spark》第十一章:Spark(MLlib)与机器学习,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
2020/07/06 -
引言
我一直以为这部分内容,其实没有什么大不了的,反正就是弄出来数据,然后跑算法就完事了嘛。但是仔细读了读这小节,发现了一些不一样的地方。这里来列举一下,我读完这个章节之后的一些想法,然后再具体来记录这部分的主要内容。
1)他算法的输入是需要转化一下的(向量),我看到的大多是通过了某种特征工程的东西,然后这种就已经是满足的数据格式了,不知道普通的矩阵向量应该怎么弄呢?map?
2)数据集cache,这个步骤很关键,我感觉这部分内容实际上是最重要的
3)支持的算法,他文中也说了,并不是所有的算法都具有实现,大部分都是一些能够支持在并行机器上运行的才行;但是,他也提到了一种方式(适用于小数据集),然后多个机器并行跑,不过我没想通他是怎么弄的。其实如果是小数据集,那么这种能够在多个机器上跑完整的pipeline,然后来评估这个性能,我感觉这种性能就挺好的。
不过,我觉得,暂时的情况下,我需要考虑的是,怎么样将sklearn中一些常用的api,让我找到其在spark中对应的实现呢。做到这一步再说后面的事情。
从其引言的内容上来看
本章主要是简单列举了一下这个MLlib的使用方法,并没有非常多的信息。看来如果是这样的话,那就得自己想办法来学习了。那么本文章的内容将首先介绍一下书籍上的内容,然后再通过我的实践从需求中找到具体的实现。
注意,在spark2.0之后,mllib就进入了保留状态,核心的机器学习库将在ml中进行开发。
1. MLlib操作流程
数据类型,在前面的章节中介绍过,spark的核心数据类型是RDD,那么机器学习过程中也是对这种数据进行操作;同时,他也引入了一些适用于机器学习的数据类型,来表述数据集中的一些东西,(例如向量、带标记的数据点)。来看一下他列举的这个流程。
- 添加数据,用RDD在内存中代表这个东西
- 利用特征提取算法将文本(本例是一个文本分类的例子)转化为数值特征,这个数值特征是内置的数据类型(向量类型),然后返回一个数值向量的RDD;
- 在向量RDD上调用分类算法,返回一个模型可以用于分类新的数据点
- 使用MLlib的评估函数在测试集上评估数据集
整体上来看,好像没有多大的问题,但是主要是这里的API和sklearn是不一样的。这就有点尴尬了;如何找到相对应的api。同时,文中也说了,当前的MLlib还比较原始,可能api还需要自己来弄。(当然这是很久之前版本的东西了,有没有更新就不太清楚了)
这里的一句话解答了我之前的疑惑,就是spark是否实现了机器学习算法的并行化;我当时也是为了能够从这种集群中获得速度的提升。当时我得出的结论是,他只有最后的评估也好,或者多线程训练也好这种获得了实质上的速度提升。今天的这句话给了给了我解答:MLlib只包含可以在集群上运行的并行算法。一些经典算法没有被包含,是因为他们没有办法被设计为并行算法。这种说法就代表着,MLlib使用于大型数据集。
但这里给出了一个说法,就是你可以在每个工作节点上给他们部署任务,让他们同时跑,不过我有点理解不了,这个东西是怎么实现的在现有的模型下。看完我好像有点明白了,他是这么说的,使用parallelize();他的目标是在小数据集上训练相同的算法,也就是调参,那么你可以将使用map的方法,每个节点选一个,然后同时对某个数据集进行训练。实际上这种方法就已经超出了我之前的理解了。就是他这个时候的RDD,是一个参数集合,你map了之后,map的参数里的函数就是训练里面的东西,然后达到最后的效果。我是这么理解的, 不知道是不是这么回事,而且的确他说的时小数据集,这样数据集能够被导入到每个节点的内存中。本质上的方法就是每台机器使用机器自己的机器学习库,然后来训练;就是一个集群上的多线程。
(上面这个方法挺好的, 如果是比较小的数据集的话,但是这里需要考虑这个内存的问题,然后每个机器都是多大。)
参考文章
[1]Spark实战:基于Spark的随机森林分类算法分析
这篇关于《Learning Spark》第十一章:Spark(MLlib)与机器学习的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!