本文主要是介绍从spark源码的角度思考scala中的模式匹配,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1.scala中模式匹配
2.spark源码中的模式匹配思考
spark中master会收到worker发过来的akka的消息,
此消息是case class即(Master.class中):
case class RegisterWorker(id:String,host:String,port:Int,cores:Int,memory:Int,webUiPort:int,publicAddress:String)extends DeployMessage{Utils.chechkhost(host,"Required hostname")assert(port >0 )}
在scala中实现case class最重要的有两个方法:
一:apply用于申请对象
二:unapply
scala在我们case class伴生对象中定义了这两个方法,
而apply用于对象的生成。我们在使用case class时并没有new case class,
而是直接使用,因为我们加上了apply方法,并不需要new关键字。
而unapply
Worker.scala当中:
private def tryRegisterAllMasters(){for (masterAkkaUrl <- masterAkkaUrls){LogInfo("Connecting to master " + masterAkkaUrl + "...")val actor = context.actorSelection(masterAkkaUrl)actor ! RegisterWorker(workerId,host,port,cores,memory,webUi.boundPort,publicAddress)}
}
这些信息会不经修改的经过akka传到master当中.
如果说apply方法是工厂方法来构建RegisterWorker
那么unapply就是析构模式或者结构,是将传进来的成员解构出来。
abstractor主要是从一个对象中提取相关成员,需要手动定义apply方法,这样的好处是对外暴露时只暴露对象的接口,而不暴露对象的实现;这样就可以做到很好的面相接口编程。
但和case class一样,在进行模式匹配时,也会调用unapply方法,unapply方法会接受数据类型,会返回一个数据类型,具体类型看我们怎样封装。
如果手动定义一个类,类中定义伴生对象的unapply方法的话,这样会带来很大的灵活性。
相关来源:DT大数据梦工厂,微信公众号是DT_Spark,每天都会有大数据实战视频发布,请您持续学习。
相关资料:
scala深入浅出实战经典完整视频、PPT、代码下载:
百度云盘:http://pan.baidu.com/s/1c0noOt6
腾讯微云:http://url.cn/TnGbdC
360云盘:http://yunpan.cn/cQ4c2UALDjSKy 访问密码45e2
这篇关于从spark源码的角度思考scala中的模式匹配的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!