Scala Macros - 元编程 Metaprogramming with Def Macros

2024-04-09 04:58

本文主要是介绍Scala Macros - 元编程 Metaprogramming with Def Macros,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    Scala Macros对scala函数库编程人员来说是一项不可或缺的编程工具,可以通过它来解决一些用普通编程或者类层次编程(type level programming)都无法解决的问题,这是因为Scala Macros可以直接对程序进行修改。Scala Macros的工作原理是在程序编译时按照编程人员的意旨对一段程序进行修改产生出一段新的程序。具体过程是:当编译器在对程序进行类型验证(typecheck)时如果发现Macro标记就会将这个Macro的功能实现程序(implementation):一个语法树(AST, Abstract Syntax Tree)结构拉过来在Macro的位置进行替代,然后从这个AST开始继续进行类型验证过程。

下面我们先用个简单的例子来示范分析一下Def Macros的基本原理和使用方法:

object modules {greeting("john")}object mmacros {def greeting(person: String): Unit = macro greetingMacrodef greetingMacro(c: Context)(person: c.Expr[String]): c.Expr[Unit] = ...}


以上是Def Macros的标准实现模式。基本原理是这样的:当编译器在编译modules遇到方法调用greeting("john")时会进行函数符号解析、在mmacros里发现greeting是个macro,它的具体实现在greetingMacro函数里,此时编译器会运行greetingMacro函数并将运算结果-一个AST调用替代表达式greeting("john")。注意编译器在运算greetingMacro时会以AST方式将参数person传入。由于在编译modules对象时需要运算greetingMacro函数,所以greetingMacro函数乃至整个mmacros对象必须是已编译状态,这就意味着modules和mmacros必须分别在不同的源代码文件里,而且还要确保在编译modules前先完成对mmacros的编译,我们可以从sbt设置文件build.sbt看到它们的关系:

name := "learn-macro"version := "1.0.1"val commonSettings = Seq(scalaVersion := "2.11.8",scalacOptions ++= Seq("-deprecation", "-feature"),libraryDependencies ++= Seq("org.scala-lang" % "scala-reflect" % scalaVersion.value,"org.scala-lang.modules" %% "scala-parser-combinators" % "1.0.1","org.specs2" %% "specs2" % "2.3.12" % "test","org.scalatest" % "scalatest_2.11" % "2.2.1" % "test"),addCompilerPlugin("org.scalamacros" % "paradise" % "2.1.0" cross CrossVersion.full)
)lazy val root = (project in file(".")).aggregate(macros, demos)lazy val macros = project.in(file("macros")).settings(commonSettings : _*)lazy val demos  = project.in(file("demos")).settings(commonSettings : _*).dependsOn(macros)


注意最后一行:demos dependsOn(macros),因为我们会把所有macros定义文件放在macros目录下。

下面我们来看看macro的具体实现方法:

import scala.language.experimental.macros
import scala.reflect.macros.blackbox.Context
import java.util.Date
object LibraryMacros {def greeting(person: String): Unit = macro greetingMacrodef greetingMacro(c: Context)(person: c.Expr[String]): c.Expr[Unit] = {import c.universe._println("compiling greeting ...")val now = reify {new Date().toString}reify {println("Hello " + person.splice + ", the time is: " + new Date().toString)}}
}


以上是macro greeting的具体声明和实现。代码放在macros目录下的MacrosLibrary.scala里。首先必须import macros和Context。

macro调用在demo目录下的HelloMacro.scala里:

object HelloMacro extends App {import LibraryMacros._greeting("john")
}

注意在编译HelloMacro.scala时产生的输出:

Mac-Pro:learn-macro tiger-macpro$ sbt
[info] Loading global plugins from /Users/tiger-macpro/.sbt/0.13/plugins
[info] Loading project definition from /Users/tiger-macpro/Scala/IntelliJ/learn-macro/project
[info] Set current project to learn-macro (in build file:/Users/tiger-macpro/Scala/IntelliJ/learn-macro/)
> project demos
[info] Set current project to demos (in build file:/Users/tiger-macpro/Scala/IntelliJ/learn-macro/)
> compile
[info] Compiling 1 Scala source to /Users/tiger-macpro/Scala/IntelliJ/learn-macro/macros/target/scala-2.11/classes...
[info] 'compiler-interface' not yet compiled for Scala 2.11.8. Compiling...
[info]   Compilation completed in 7.876 s
[info] Compiling 1 Scala source to /Users/tiger-macpro/Scala/IntelliJ/learn-macro/demos/target/scala-2.11/classes...
compiling greeting ...
[success] Total time: 10 s, completed 2016-11-9 9:28:24
> 


从compiling greeting ...这条提示我们可以得出在编译demo目录下源代码文件的过程中应该运算了greetingMacro函数。测试运行后产生结果:

Hello john, the time is: Wed Nov 09 09:32:04 HKT 2016Process finished with exit code 0

运算greeting实际上是调用了greetingMacro中的macro实现代码。

上面这个例子使用了最基础的Scala Macro编程模式。注意这个例子里函数greetingMacro的参数c: Context和在函数内部代码中reify,splice的调用:由于Context是个动态函数接口,每个实例都有所不同。对于大型的macro实现函数,可能会调用到其它同样会使用到Context的辅助函数(helper function),容易出现Context实例不匹配问题。另外reify和splice可以说是最原始的AST操作函数。我们在下面这个例子里使用了最新的模式和方法:

  def tell(person: String): Unit = macro MacrosImpls.tellMacroclass MacrosImpls(val c: Context) {import c.universe._def tellMacro(person: c.Tree): c.Tree = {println("compiling tell ...")val now = new Date().toStringq"""println("Hello "+$person+", it is: "+$now)"""}}


在这个例子里我们把macro实现函数放入一个以Context为参数的class。我们可以把所有使用Context的函数都摆在这个class里面大家共用统一的Context实例。quasiquotes是最新的AST操作函数集,可以更方便灵活地控制AST的产生、表达式还原等。这个tell macro的调用还是一样的:

object HelloMacro extends App {import LibraryMacros._greeting("john")tell("mary")
}

测试运算产生下面的结果:

Hello john, the time is: Wed Nov 09 11:42:21 HKT 2016
Hello mary, it is: Wed Nov 09 11:42:20 HKT 2016Process finished with exit code 0


Def Macros的Macro实现函数可以是泛型函数,支持类参数。在下面的例子我们示范如何用Def Macros来实现通用的case class与Map类型的转换。假设我们有个转换器CaseClassMapConverter[C],那么C类型可以是任何case class,所以这个转换器是泛型的,那么macro实现函数也就必须是泛型的了。大体来说,我们希望实现以下功能:把任何case class转成Map:

 def ccToMap[C: CaseClassMapConverter](c: C): Map[String,Any] =implicitly[CaseClassMapConverter[C]].toMap(c)case class Person(name: String, age: Int)case class Car(make: String, year: Int, manu: String)val civic = Car("Civic",2016,"Honda")println(ccToMap[Person](Person("john",18)))println(ccToMap[Car](civic))...
Map(name -> john, age -> 18)
Map(make -> Civic, year -> 2016, manu -> Honda)


反向把Map转成case class:

  def mapTocc[C: CaseClassMapConverter](m: Map[String,Any]) =implicitly[CaseClassMapConverter[C]].fromMap(m)val mapJohn = ccToMap[Person](Person("john",18))val mapCivic = ccToMap[Car](civic)println(mapTocc[Person](mapJohn))println(mapTocc[Car](mapCivic))...
Person(john,18)
Car(Civic,2016,Honda)

我们来看看这个Macro的实现函数:macros/CaseClassConverter.scala

import scala.language.experimental.macros
import scala.reflect.macros.whitebox.Contexttrait CaseClassMapConverter[C] {def toMap(c: C): Map[String,Any]def fromMap(m: Map[String,Any]): C
}
object CaseClassMapConverter {implicit def Materializer[C]: CaseClassMapConverter[C] = macro converterMacro[C]def converterMacro[C: c.WeakTypeTag](c: Context): c.Tree = {import c.universe._val tpe = weakTypeOf[C]val fields = tpe.decls.collectFirst {case m: MethodSymbol if m.isPrimaryConstructor => m}.get.paramLists.headval companion = tpe.typeSymbol.companionval (toParams,fromParams) = fields.map { field =>val name = field.name.toTermNameval decoded = name.decodedName.toStringval rtype = tpe.decl(name).typeSignature(q"$decoded -> t.$name", q"map($decoded).asInstanceOf[$rtype]")}.unzipq"""new CaseClassMapConverter[$tpe] {def toMap(t: $tpe): Map[String,Any] = Map(..$toParams)def fromMap(map: Map[String,Any]): $tpe = $companion(..$fromParams)}"""}
}


首先,trait CaseClassMapConverter[C]是个typeclass,代表了C类型数据的行为函数toMap和fromMap。我们同时可以看到Macro定义implicit def Materializer[C]是隐式的,而且是泛型的,运算结果类型是CaseClassMapConverter[C]。从这个可以推断出这个Macro定义通过Macro实现函数可以产生CaseClassMapConverter[C]实例,C可以是任何case class类型。在函数ccToMap和mapTocc函数需要的隐式参数CaseClassMapConverter[C]实例就是由这个Macro实现函数提供的。注意我们只能用WeakTypeTag来获取类型参数C的信息。在使用quasiquotes时我们一般是在q括号中放入原始代码。在q括号内调用AST变量用$前缀(称为unquote)。对类型tpe的操作可以参考scala.reflect api。示范调用代码在demo目录下的ConverterDemo.scala里:

import CaseClassMapConverter._
object ConvertDemo extends App {def ccToMap[C: CaseClassMapConverter](c: C): Map[String,Any] =implicitly[CaseClassMapConverter[C]].toMap(c)case class Person(name: String, age: Int)case class Car(make: String, year: Int, manu: String)val civic = Car("Civic",2016,"Honda")//println(ccToMap[Person](Person("john",18)))//println(ccToMap[Car](civic))def mapTocc[C: CaseClassMapConverter](m: Map[String,Any]) =implicitly[CaseClassMapConverter[C]].fromMap(m)val mapJohn = ccToMap[Person](Person("john",18))val mapCivic = ccToMap[Car](civic)println(mapTocc[Person](mapJohn))println(mapTocc[Car](mapCivic))}


在上面这个implicit Macros例子里引用了一些quasiquote语句(q"xxx")。quasiquote是Scala Macros的一个重要部分,主要替代了原来reflect api中的reify功能,具备更强大、方便灵活的处理AST功能。Scala Def Macros还提供了Extractor Macros,结合Scala String Interpolation和模式匹配来提供compile time的extractor object生成。Extractor Macros的具体用例如下:

  import ExtractorMicros._val fname = "William"val lname = "Wang"val someuser =  usr"$fname,$lname"  //new FreeUser("William","Wang")someuser match {case usr"$first,$last" => println(s"hello $first $last")}


在上面这个例子里usr"???"的usr是一个pattern和extractor object。与通常的string interpolation不同的是usr不是一个方法(method),而是一个对象(object)。这是由于模式匹配中的unapply必须在一个extractor object内,所以usr是个object。我们知道一个object加上它的apply可以当作method来调用。也就是说如果在usr object中实现了apply就可以用usr(???)作为method使用,如下:

  implicit class UserInterpolate(sc: StringContext) {object usr {def apply(args: String*): Any = macro UserMacros.appldef unapply(u: User): Any = macro UserMacros.uapl}}


通过Def Macros在编译过程中自动生成apply和unapply,它们分别对应了函数调用:

val someuser =  usr"$fname,$lname"case usr"$first,$last" => println(s"hello $first $last")


下面是macro appl的实现:

def appl(c: Context)(args: c.Tree*) = {import c.universe._val arglist = args.toListq"new FreeUser(..$arglist)"}


主要通过q"new FreeUser(arg1,arg2)"实现了个AST的构建。macro uapl的实现相对复杂些,对quasiquote的应用会更深入些。首先要确定类型的primary constructor的参数数量和名称,然后通过quasiquote的模式匹配分解出相应的sub-AST,再重新组合形成最终完整的AST:

def uapl(c: Context)(u: c.Tree) = {import c.universe._val params = u.tpe.members.collectFirst {case m: MethodSymbol if m.isPrimaryConstructor => m.asMethod}.get.paramLists.head.map {p => p.asTerm.name.toString}val (qget,qdef) = params.length match {case len if len == 0 =>(List(q""),List(q""))case len if len == 1 =>val pn = TermName(params.head)(List(q"def get = u.$pn"),List(q""))case  _ =>val defs = List(q"def _1 = x",q"def _2 = x",q"def _3 = x",q"def _4 = x")val qdefs = (params zip defs).collect {case (p,d) =>val q"def $mname = $mbody" = dval pn = TermName(p)q"def $mname = u.$pn"}(List(q"def get = this"),qdefs)}q"""new {class Matcher(u: User) {def isEmpty = false..$qget..$qdef}def unapply(u: User) = new Matcher(u)}.unapply($u)"""}
}


前面大部分代码就是为了形成List[Tree] qget和qdef,最后组合一个完整的quasiquote q""" new {...}"""。

完整的Macro实现源代码如下:

trait User {val fname: Stringval lname: String
}class FreeUser(val fname: String, val lname: String) extends User {val i = 10def f = 1 + 2
}
class PremiumUser(val name: String, val gender: Char, val vipnum: String) //extends Userobject ExtractorMicros {implicit class UserInterpolate(sc: StringContext) {object usr {def apply(args: String*): Any = macro UserMacros.appldef unapply(u: User): Any = macro UserMacros.uapl}}
}
object UserMacros {def appl(c: Context)(args: c.Tree*) = {import c.universe._val arglist = args.toListq"new FreeUser(..$arglist)"}def uapl(c: Context)(u: c.Tree) = {import c.universe._val params = u.tpe.members.collectFirst {case m: MethodSymbol if m.isPrimaryConstructor => m.asMethod}.get.paramLists.head.map {p => p.asTerm.name.toString}val (qget,qdef) = params.length match {case len if len == 0 =>(List(q""),List(q""))case len if len == 1 =>val pn = TermName(params.head)(List(q"def get = u.$pn"),List(q""))case  _ =>val defs = List(q"def _1 = x",q"def _2 = x",q"def _3 = x",q"def _4 = x")val qdefs = (params zip defs).collect {case (p,d) =>val q"def $mname = $mbody" = dval pn = TermName(p)q"def $mname = u.$pn"}(List(q"def get = this"),qdefs)}q"""new {class Matcher(u: User) {def isEmpty = false..$qget..$qdef}def unapply(u: User) = new Matcher(u)}.unapply($u)"""}
}

调用示范代码:

object Test extends App {import ExtractorMicros._val fname = "William"val lname = "Wang"val someuser =  usr"$fname,$lname"  //new FreeUser("William","Wang")someuser match {case usr"$first,$last" => println(s"hello $first $last")}
}

Macros Annotation(注释)是Def Macro重要的功能部分。对一个目标,包括类型、对象、方法等进行注释意思是在源代码编译时对它们进行拓展修改甚至完全替换。比如我们下面展示的方法注释(method annotation):假设我们有下面两个方法:

  def testMethod[T]: Double = {val x = 2.0 + 2.0Math.pow(x, x)}def testMethodWithArgs(x: Double, y: Double) = {val z = x + yMath.pow(z,z)}

如果我想测试它们运行所需时间的话可以在这两个方法的内部代码前设定开始时间,然后在代码后截取完成时间,完成时间-开始时间就是运算所需要的时间了,如下:

def testMethod[T]: Double = {val start = System.nanoTime()val x = 2.0 + 2.0Math.pow(x, x)val end = System.nanoTime()println(s"elapsed time is: ${end - start}")}


我们希望通过注释来拓展这个方法:具体做法是保留原来的代码,同时在方法内部前后增加几行代码。我们看看这个注释的目的是如何实现的:

def impl(c: Context)(annottees: c.Tree*): c.Tree = {import c.universe._annottees.head match {case q"$mods def $mname[..$tpes](...$args): $rettpe = { ..$stats }" => {q"""$mods def $mname[..$tpes](...$args): $rettpe = {val start = System.nanoTime()val result = {..$stats}val end = System.nanoTime()println(${mname.toString} + " elapsed time in nano second = " + (end-start).toString())result}"""}case _ => c.abort(c.enclosingPosition, "Incorrect method signature!")}


可以看到:我们还是用quasiquote来分拆被注释的方法,然后再用quasiquote重现组合这个方法。在重组过程中增加了时间截取和列印代码。下面这行是典型的AST模式分拆(pattern desctruction):

      case q"$mods def $mname[..$tpes](...$args): $rettpe = { ..$stats }" => {...}


用这种方式把目标分拆成重组需要的最基本部分。Macro Annotation的实现源代码如下:

import scala.annotation.StaticAnnotation
import scala.language.experimental.macros
import scala.reflect.macros.blackbox.Contextclass Benchmark extends StaticAnnotation {def macroTransform(annottees: Any*): Any = macro Benchmark.impl
}
object Benchmark {def impl(c: Context)(annottees: c.Tree*): c.Tree = {import c.universe._annottees.head match {case q"$mods def $mname[..$tpes](...$args): $rettpe = { ..$stats }" => {q"""$mods def $mname[..$tpes](...$args): $rettpe = {val start = System.nanoTime()val result = {..$stats}val end = System.nanoTime()println(${mname.toString} + " elapsed time in nano second = " + (end-start).toString())result}"""}case _ => c.abort(c.enclosingPosition, "Incorrect method signature!")}}
}


注释的调用示范代码如下:

object annotMethodDemo extends App {@Benchmarkdef testMethod[T]: Double = {//val start = System.nanoTime()val x = 2.0 + 2.0Math.pow(x, x)//val end = System.nanoTime()//println(s"elapsed time is: ${end - start}")}@Benchmarkdef testMethodWithArgs(x: Double, y: Double) = {val z = x + yMath.pow(z,z)}testMethod[String]testMethodWithArgs(2.0,3.0)}

有一点值得注意的是:Macro扩展是编译中遇到方法调用时发生的,而注释目标的扩展则在更早一步的方法声明时。我们下面再看一个注释class的例子:

import scala.annotation.StaticAnnotation
import scala.language.experimental.macros
import scala.reflect.macros.blackbox.Contextclass TalkingAnimal(val voice: String) extends StaticAnnotation {def macroTransform(annottees: Any*): Any = macro TalkingAnimal.implAnnot
}object TalkingAnimal {def implAnnot(c: Context)(annottees: c.Tree*): c.Tree = {import c.universe._annottees.head match {case q"$mods class $cname[..$tparams] $ctorMods(..$params) extends Animal with ..$parents {$self => ..$stats}" =>val voice = c.prefix.tree match {case q"new TalkingAnimal($sound)" => c.eval[String](c.Expr(sound))case _ =>c.abort(c.enclosingPosition,"TalkingAnimal must provide voice sample!")}val animalType = cname.toString()q"""$mods class $cname(..$params) extends Animal {..$statsdef sayHello: Unit =println("Hello, I'm a " + $animalType + " and my name is " + name + " " + $voice + "...")}"""case _ =>c.abort(c.enclosingPosition,"Annotation TalkingAnimal only apply to Animal inherited!")}}
}


我们看到:同样还是通过quasiquote进行AST模式拆分:

      case q"$mods class $cname[..$tparams] $ctorMods(..$params) extends Animal with ..$parents {$self => ..$stats}" =>


然后再重新组合。具体使用示范如下:

object AnnotClassDemo extends App {trait Animal {val name: String}@TalkingAnimal("wangwang")case class Dog(val name: String) extends Animal@TalkingAnimal("miaomiao")case class Cat(val name: String) extends Animal//@TalkingAnimal("")//case class Carrot(val name: String)//Error:(12,2) Annotation TalkingAnimal only apply to Animal inherited! @TalingAnimalDog("Goldy").sayHelloCat("Kitty").sayHello}

运算结果如下:

Hello, I'm a Dog and my name is Goldy wangwang...
Hello, I'm a Cat and my name is Kitty miaomiao...Process finished with exit code 0




























这篇关于Scala Macros - 元编程 Metaprogramming with Def Macros的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/887226

相关文章

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

【编程底层思考】垃圾收集机制,GC算法,垃圾收集器类型概述

Java的垃圾收集(Garbage Collection,GC)机制是Java语言的一大特色,它负责自动管理内存的回收,释放不再使用的对象所占用的内存。以下是对Java垃圾收集机制的详细介绍: 一、垃圾收集机制概述: 对象存活判断:垃圾收集器定期检查堆内存中的对象,判断哪些对象是“垃圾”,即不再被任何引用链直接或间接引用的对象。内存回收:将判断为垃圾的对象占用的内存进行回收,以便重新使用。

Go Playground 在线编程环境

For all examples in this and the next chapter, we will use Go Playground. Go Playground represents a web service that can run programs written in Go. It can be opened in a web browser using the follow

深入理解RxJava:响应式编程的现代方式

在当今的软件开发世界中,异步编程和事件驱动的架构变得越来越重要。RxJava,作为响应式编程(Reactive Programming)的一个流行库,为Java和Android开发者提供了一种强大的方式来处理异步任务和事件流。本文将深入探讨RxJava的核心概念、优势以及如何在实际项目中应用它。 文章目录 💯 什么是RxJava?💯 响应式编程的优势💯 RxJava的核心概念

函数式编程思想

我们经常会用到各种各样的编程思想,例如面向过程、面向对象。不过笔者在该博客简单介绍一下函数式编程思想. 如果对函数式编程思想进行概括,就是f(x) = na(x) , y=uf(x)…至于其他的编程思想,可能是y=a(x)+b(x)+c(x)…,也有可能是y=f(x)=f(x)/a + f(x)/b+f(x)/c… 面向过程的指令式编程 面向过程,简单理解就是y=a(x)+b(x)+c(x)

Java并发编程之——BlockingQueue(队列)

一、什么是BlockingQueue BlockingQueue即阻塞队列,从阻塞这个词可以看出,在某些情况下对阻塞队列的访问可能会造成阻塞。被阻塞的情况主要有如下两种: 1. 当队列满了的时候进行入队列操作2. 当队列空了的时候进行出队列操作123 因此,当一个线程试图对一个已经满了的队列进行入队列操作时,它将会被阻塞,除非有另一个线程做了出队列操作;同样,当一个线程试图对一个空

生信代码入门:从零开始掌握生物信息学编程技能

少走弯路,高效分析;了解生信云,访问 【生信圆桌x生信专用云服务器】 : www.tebteb.cc 介绍 生物信息学是一个高度跨学科的领域,结合了生物学、计算机科学和统计学。随着高通量测序技术的发展,海量的生物数据需要通过编程来进行处理和分析。因此,掌握生信编程技能,成为每一个生物信息学研究者的必备能力。 生信代码入门,旨在帮助初学者从零开始学习生物信息学中的编程基础。通过学习常用

rtmp流媒体编程相关整理2013(crtmpserver,rtmpdump,x264,faac)

转自:http://blog.163.com/zhujiatc@126/blog/static/1834638201392335213119/ 相关资料在线版(不定时更新,其实也不会很多,也许一两个月也不会改) http://www.zhujiatc.esy.es/crtmpserver/index.htm 去年在这进行rtmp相关整理,其实内容早有了,只是整理一下看着方

使用Qt编程QtNetwork无法使用

使用 VS 构建 Qt 项目时 QtNetwork 无法使用的问题 - 摘叶飞镖 - 博客园 (cnblogs.com) 另外,强烈建议在使用QNetworkAccessManager之前看看这篇文章: Qt 之 QNetworkAccessManager踏坑记录-CSDN博客 C++ Qt开发:QNetworkAccessManager网络接口组件 阅读目录 1.1 通用API函数