本文主要是介绍Android热补丁动态修复技术(四):自动化生成补丁——解决混淆问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一、前言
在上一章中,我们使用javassist成功为项目注入了System.out.println(AntilazyLoad.class);
这行代码,解决了class_ispreverified问题,可以正常使用了,但肯定还存在着很多未知的问题。
- 首先是javassist的问题
- class中使用到的类,必须添加到classpool的classpath中,我在Demo中写了一个自定义控件,注入代码的时候报错,提示没有找到Context,然后我将android.jar整个添加到classpath之后成功
- 如果该类是一个接口,会提示没有构造函数的异常。所以需要判断构造函数是否为null
- 如果该类的构造函数是私有的,也会报错。所以要使用getDeclaredConstructors这种方式获取,和反射有点像。
- 自定义控件使用问题
- 自定义控件在使用的时候,预览界面会出现异常,找不到AntilazyLoad.class类,这时候只能clean或者rebuild项目
- 代码写死问题
- 说实话,我对于代码封装不太在行,没有封装经验,对设计模式也只会用用单例。所以有一些东西是写死了的。
- 我将写死的东西先放到一个类里面去了,如下
这几个问题目前来说还不是很重要,而且我也没有比较好的解决方案,只能写完这个系列的博客后再慢慢重构,如果大家有兴趣的话希望能帮忙改进。
二、Transform的坑
在前几篇博文中,我们都是建立在不混淆的基础上完成热补丁框架的。
那么,如果开启混淆后会出现什么问题呢?
可能有网友会说,这还不简单嘛,补丁无效呗,因为混淆之后类名已经变了,而我们的补丁还是原来的类名,包括里面的成员变量。
这是一个问题,也是本篇博文重点内容。
然而这之前还有个奇葩问题得先解决,如果现在开启混淆,紧接着打包,那么会报错。
因为我们是通过注册Transform注入代码的,而这个Transfrom在proguardTransform之前就已经执行。而混淆的时候发现找不到AntilazyLoad,然后就会报classNotFound错误。
所以,如果我们开启混淆的话,在Transfrom中注入代码是不可行的。因为我们无法改变Transfrom的执行顺序,我们注册的PreDexTransfrom肯定在ProguardTransform之前执行,而ProguardTransform混淆又会因为找不到类而报错。
以上说的就是Transform的坑了!
早知道我就不搞什么Transfrom了,直接使用task hook一下也不会麻烦到哪里去。
不过研究了半天还是有了个解决方案,就是在ProguardTransform执行之前将注入的代码移除,然后再ProguardTransfrom执行之后再次注入代码。
2.1 开启混淆后Task的inputs和outputs
没有开启混淆的时候,我们注册的preDexTransform就在DexTransform之前执行,PreDexTransform的outputs就是DexTransfrom的inputs
而开启混淆后,其实没有多大变化,直接PreDexTransfrom与DexTransform之间间多了一个ProguardTask,他们的inputs和outputs我就不多说了,记住相邻的两个Task,前一个的outputs必然是下一个Task的inputs。
2.2 取消注入
那么我们怎么移除掉System.out.println(AntilazyLoad.class);
这行代码呢?
再次使用javassist显然太费劲了,我们可以在PreDexTransfrom注入代码之前,将文件先备份到某个文件夹。如果发现使用了Proguard,那么将备份的文件还原就行了。
备份到哪里呢,app的build目录就可以了,因为执行clean的时候会清除这个目录。
下面是Transform修改后的代码
@Overridevoid transform(Context context, Collection<TransformInput> inputs,Collection<TransformInput> referencedInputs,TransformOutputProvider outputProvider, boolean isIncremental)throws IOException, TransformException, InterruptedException {// 清除备份文件夹File backupDir = new File(project.buildDir,"backup")if(backupDir.exists()) {FileUtils.cleanDirectory(backupDir)}// 遍历transfrom的inputs// inputs有两种类型,一种是目录,一种是jar,需要分别遍历。inputs.each {TransformInput input ->input.directoryInputs.each {DirectoryInput directoryInput->// 这是transfrom的输出目录def dest = outputProvider.getContentLocation(directoryInput.name,directoryInput.contentTypes, directoryInput.scopes, Format.DIRECTORY)// 备份dirdef dirBackup = dest.absolutePath.replace('intermediates','backup')File dirBackupFile = new File(dirBackup)if(!dirBackupFile.exists()) {dirBackupFile.mkdirs()}FileUtils.copyDirectory(directoryInput.file, dirBackupFile)//TODO 注入代码Inject.injectDir(directoryInput.file.absolutePath)// 将input的目录复制到output指定目录FileUtils.copyDirectory(directoryInput.file, dest)}input.jarInputs.each {JarInput jarInput->// 重命名输出文件(同目录copyFile会冲突)def jarName = jarInput.namedef md5Name = DigestUtils.md5Hex(jarInput.file.getAbsolutePath())if(jarName.endsWith(".jar")) {jarName = jarName.substring(0,jarName.length()-4)}def dest = outputProvider.getContentLocation(jarName+md5Name, jarInput.contentTypes, jarInput.scopes, Format.JAR)// 备份jardef jarBackup = dest.absolutePath.replace('intermediates','backup').replace(jarName,jarName+md5Name)File jarBackupFile = new File(jarBackup)FileUtils.copyFile(jarInput.file,jarBackupFile)//TODO 注入代码String jarPath = jarInput.file.absolutePath;String projectName = project.rootProject.name;if(jarPath.endsWith("classes.jar") && jarPath.contains("exploded-aar\\"+projectName)) {// 排除不需要注入的moduledef flag = trueConfigure.noInjectModules.each {if(jarPath.contains("exploded-aar\\$projectName\\$it")) {flag = false}}if(flag) {Inject.injectJar(jarPath)}}FileUtils.copyFile(jarInput.file, dest)}}}
然后我们需要在proguardTransform执行之前将备份还原
/*** Created by AItsuki on 2016/4/8.* */
public class Register implements Plugin<Project> {@Overridepublic void apply(Project project) {def android = project.extensions.findByType(AppExtension)PreDexTransform preDexTransform = new PreDexTransform(project)android.registerTransform(preDexTransform)/*** 我们是在混淆之前就完成注入代码的,这会出现问题,找不到AntilazyLoad这个类** 我的解决方式:* 在PreDexTransform注入代码之前,先将原来没有注入的代码保存了一份到 buildDir/backup* 如果开启了混淆,则在混淆之前将代码覆盖回来*/project.afterEvaluate {project.android.applicationVariants.each {variant->def proguardTask = project.getTasks().findByName("transformClassesAndResourcesWithProguardFor${variant.name.capitalize()}")if(proguardTask) {// 如果有混淆,执行之前将备份的文件覆盖原来的文件(变相的清除已注入代码)proguardTask.doFirst {File backupDir = new File(project.buildDir,"backup\\transforms\\$preDexTransform.name\\$variant.name")if(backupDir.exists()) {def srcDirPath = backupDir.getAbsolutePath().replace('backup','intermediates')File srcDir = new File(srcDirPath)FileUtils.cleanDirectory(srcDir)FileUtils.copyDirectory(backupDir,srcDir)}}proguardTask.doLast {//TODO 开启混淆后在这里注入代码}}}}}
}
再次开启混淆,运行Generate Signed Apk已经可以成功签名打包了,但是很明显,我们的代码也没有注入,因为已经还原备份了。
2.3 补充
看看我们的备份
然后看看preDex, proguard,dex三个task的inputs和outpus。
看到输出我们也知道了,需要混淆的代码就保存在
\app\build\intermediates\transforms\proguard\release
当然,如果你用debug的话最后这里就是proguard\debug
比如这么设置,然后BuildApk
三、混淆后的代码注入
在上面的dolast中就可以有个todo注释,在那里注入代码就可以了,注入的方式和上一篇博客一样。
但是特别有一点提醒一下,混淆后的输出目录只有一个main.jar包(目前试了几个项目都是……不知道有没有特殊情况),直接解压这个jar包注入就可以了
但是,混淆后怎么打包补丁呢,难道解压main.jar,从里面复制么。类名已经变了,找起来太费劲了啊。继续往下看,教你实现自动化打包补丁!
四、自动化打包补丁
4.1 思路
Transfrom的问题已经解决了,回归到最开始的问题。
混淆之后,类名,方法名,变量名都可能已经改变,那么我们如何注入dex修复bug呢?
按照之前的制作补丁方法(在我的热补丁系列第二篇博文中有)肯定是不行了,我们制作的补丁必须是已经混淆过的类,而不能直接从debug中直接获取。
所以,我们需要为这个框架加入自动化生成补丁的功能!
那么怎么生成自动化补丁呢?
首先我们来想一下我们热补丁的需求;
- 发布正式版本(release)的时候,我们会将项目copy一份作为备份(target)
- 如果线上的release版本出现了问题,我们就会到target项目中去修复bug
- 修复完毕后,我们直接在target中运行打包,就会自动生成补丁保存到指定的目录。
那么如何实现上面的需求呢
- 在release版本发布的时候,我们可以生成所有.class文件的md5
- 然后将该.class对应的完整类名和md5作为键值对保存到某个文件
- 当我们在target中修复了bug,打包项目的时候,再次生成所有.class文件的md5
- 将target的md5和release的md5作对比,如果md5不一致,那么代表这个类的代码已经变更,将这个class拷贝出来。这些拷贝出阿里的class就是应该打补丁的类了
4.2 实现自动化打包补丁
首先,我们需要生成所有类的md5,保存到app module的根目录下
怎么遍历所有的类, 在这之前我们已经做过备份了,可以直接遍历备份文件夹生成md5.
在Transfrom方面最后面加上这段代码
// 生成md5, 因为做了备份,可以直接读取备份生成 // 首先需要判断是否是release版本,只有在release版本的时候需要生成md5File releaseDir = new File(backupDir,"transforms\\${getName()}\\release")if(releaseDir.exists()) { // 创建patch目录, 用来保存MD5文件File patchDir = new File("$project.projectDir.absolutePath\\patch")if(!patchDir.exists()) {patchDir.mkdirs()} // 创建md5文件File md5File = new File(patchDir, "classesMD5.txt")if(md5File.exists()) {md5File.delete()}def pw = md5File.newPrintWriter() // 遍历所有class,获取md5,获取完整类名,写入到classesMd5文件中releaseDir.eachFileRecurse {File file->String filePath = file.getAbsolutePath()if(filePath.endsWith('.class') && Inject.needInject(filePath)) {int beginIndex = filePath.lastIndexOf('release')+8String className = filePath.substring(beginIndex, filePath.length()-6).replace('\\','.').replace('/','.')InputStream inputStream = new FileInputStream(file)String md5 = DigestUtils.md5Hex(inputStream)inputStream.close()pw.println("$className-$md5")}if(filePath.endsWith('.jar')) {File destDir = new File(file.parent,file.getName().replace('.jar',''))JarZipUtil.unzipJar(filePath,destDir.absolutePath)destDir.eachFileRecurse {File f->String fPath = f.absolutePathif(fPath.endsWith('.class') && Inject.needInject(fPath)) {int beginIndex = fPath.indexOf(destDir.name)+ destDir.name.length()+1String className = fPath.substring(beginIndex, fPath.length()-6).replace('\\','.').replace('/','.')InputStream inputStream= new FileInputStream(f)String md5 = DigestUtils.md5Hex(inputStream)inputStream.close()pw.println("$className-$md5")}}FileUtils.deleteDirectory(destDir)}}pw.close()}
我们现在签名打包一下release版本
可以看到在app module下生成了classesMd5文件,如图(过滤了support包的class,但是没有过滤掉hotpatch module的,目前项目比较乱,等写完这章之后就重构一下)
MD5是成功生成了,但是我们怎么校验呢,什么时候校验呢?
我们都知道打包可以选择Debug版本或者Release版本,但是不知道我们也可以自己添加一个版本,其实更标准的说法是变体,variant。
在build.gradle的BuildTypes中这样写,就成功添加了一个dopatch的变体了。
签名打包的时候可以选择打包哪一个,使用过多渠道打包的应该有点了解
我们现在就来约定一下规则,只要打包这个dopatch,就证明我们已经修复好bug,会自动生成补丁包
在transfrom中,我们继续加入以下代码
// -------------自动生成补丁包----------------- // 如果运行dopatch变体的话,代表我们需要自动生成补丁了File dopatchDir = new File(backupDir,"transforms\\${getName()}\\dopatch") // 这个是我们release版本打包时保存的md5文件File md5File = new File("$project.projectDir\\patch\\classesMD5.txt")if(dopatchDir.exists() && md5File.exists()) { // 这个是保存补丁的目录File patchCacheDir = new File(Configure.patchCacheDir)if(patchCacheDir.exists()) {FileUtils.cleanDirectory(patchCacheDir)} else {patchCacheDir.mkdirs()} // 使用reader读取md5文件,将每一行保存到集合中def reader = md5File.newReader()List<String> list = reader.readLines()reader.close() // 遍历当前的所有class文件,再次生成md5dopatchDir.eachFileRecurse {File file->String filePath = file.getAbsolutePath()if(filePath.endsWith('.class') && Inject.needInject(filePath)) {int beginIndex = filePath.lastIndexOf('dopatch')+8String className = filePath.substring(beginIndex, filePath.length()-6).replace('\\','.').replace('/','.')InputStream inputStream = new FileInputStream(file)String md5 = DigestUtils.md5Hex(inputStream)inputStream.close()String str = className +"-"+md5 // 然后和release中的md5进行对比,如果不一致,代表这个类已经修改,复制到补丁文件夹中if(!list.contains(str)) {String classFilePath = className.replace('.','\\').concat('.class')File classFile = new File(patchCacheDir,classFilePath)FileUtils.copyFile(file,classFile)}} // jar包需要先解压,(⊙o⊙)…有很多重复代码,不管了,下次重构再抽取。if(filePath.endsWith('.jar')) {File destDir = new File(file.parent,file.getName().replace('.jar',''))JarZipUtil.unzipJar(filePath,destDir.absolutePath)destDir.eachFileRecurse {File f->String fPath = f.absolutePathif(fPath.endsWith('.class') && Inject.needInject(fPath)) {int beginIndex = fPath.indexOf(destDir.name)+ destDir.name.length()+1String className = fPath.substring(beginIndex, fPath.length()-6).replace('\\','.').replace('/','.')InputStream inputStream= new FileInputStream(f)String md5 = DigestUtils.md5Hex(inputStream)inputStream.close()String str = className+"-"+md5if(!list.contains(str)) {String classFilePath = className.replace('.','\\').concat('.class')File classFile = new File(patchCacheDir,classFilePath)FileUtils.copyFile(file,classFile)}}}FileUtils.deleteDirectory(destDir)}}}
现在我们去修改一下cat类,将cat的汪汪汪改成喵喵喵!
然后运行签名打包,记得打包的时候使用dopatch这个BuildType
锵锵锵锵!!!已经自动将改变过的类复制出来了
然后我们进入命令行
这样就成功生成补丁了!
是不是比之前手动打包补丁方便多了呢?
但是,自动生成补丁包最重要的一点不是为了方便,而是为了生成混淆后的补丁包,因为混淆后的补丁我们是很难手动制作的。
4.3 实现混淆后的自动化打包补丁
那么混淆后,我们怎么自动打包补丁呢,其实也不难。
因为在混淆签名打包后,会在outputs目录中生成一个mapping文件,里面记录了混淆的规则。如图
我们可以将这个mapping文件保存起来,下次执行dopatch自动化打包的时候,解析这个mapping就知道我们需要打包哪些类了。
具体思路是这样子的:
- dopatch引用一个新的混淆文件,里面使用release的mapping(-apply mapping)
然后build.gradle中可以这样使用
- 在transform中,我们已经将需要打包成补丁的class文件事先复制到了patchCacheDir目录中
- 遍历patchCacheDir目录,获取到所有类的完整类名。
- 解析mapping文件,获取到该类名对应的混淆类名
- 这个获取到的混淆类名就是我们需要打包成补丁的类了!
然后代码实现
在Register这个类中,hook proguardTransfrom这个task,在dolast中这么做,博文开头也提到过
proguardTask.doLast { // 如果是开启混淆的release,混淆注入代码,并且将mapping复制到patch目录if(proguardTask.name.endsWith('ForRelease')) {project.logger.error "0==============" // 遍历proguard文件夹,注入代码File proguardDir = new File("$project.buildDir\\intermediates\\transforms\\proguard\\release")proguardDir.eachFileRecurse { File file ->if(file.name.endsWith('jar')) {project.logger.error "0=00000============="Inject.injectJar(file.absolutePath)project.logger.error "0=11111============="}}project.logger.error "1=============="File mapping = new File("$project.buildDir\\outputs\\mapping\\release\\mapping.txt")File mappingCopy = new File("$project.projectDir\\patch\\mapping.txt")project.logger.error "2=============="FileUtils.copyFile(mapping, mappingCopy)} // 自动打补丁if(proguardTask.name.endsWith('ForDopatch')) { // 解析mapping文件File mapping = new File("$project.projectDir\\patch\\mapping.txt")def reader = mapping.newReader()Map<String, String> map = new HashMap<>()reader.eachLine {String line->if(line.endsWith(':')) {String[] strings = line.replace(':','').split(' -> ')if(strings.length == 2) {map.put(strings[0],strings[1])}}}reader.close()println "map= $map" // 在Transfrom中已经将需要打补丁的类复制到了指定目录, 我们需要遍历这个目录获取类名List<String> patchList = new ArrayList<>()File patchCacheDir = new File(Configure.patchCacheDir)patchCacheDir.eachFileRecurse { File file->String filePath = file.absolutePathif(filePath.endsWith('.class')) { // 获取类名int beginIndex = filePath.lastIndexOf(patchCacheDir.name)+patchCacheDir.name.length()+1String className = filePath.substring(beginIndex, filePath.length()-6).replace('\\','.').replace('/','.')project.logger.error "className==============$className" // 获取混淆后类名String proguardName = map.get(className)patchList.add(proguardName)}}println "list= $patchList" // patchList保存的是需要打补丁的类名(混淆后) // 1. 清除原类文件夹FileUtils.cleanDirectory(patchCacheDir) // 2. 将混淆的后jar包解压到当前目录File proguardDir = new File("$project.buildDir\\intermediates\\transforms\\proguard")proguardDir.eachFileRecurse {File file->if(file.name.endsWith('.jar')) {File destDir = new File(file.parent,file.getName().replace('.jar',''))JarZipUtil.unzipJar(file.absolutePath,destDir.absolutePath) // 3. 遍历destDir, 将需要打补丁的类复制到cache目录destDir.eachFileRecurse {File f->String fPath = f.absolutePathif(fPath.endsWith('.class')) { // 获取类名int beginIndex = fPath.lastIndexOf(destDir.name) + destDir.name.length() + 1String className = fPath.substring(beginIndex, fPath.length() - 6).replace('\\', '.').replace('/', '.')project.logger.error "class=======================$className" // 是否是补丁,复制到cache目录if(patchList.contains(className)) {String destPath = className.replace(".","\\").concat('.class')File destFile = new File(patchCacheDir,destPath)FileUtils.copyFile(f, destFile)}}}FileUtils.deleteDirectory(destDir)}}}}
代码的复用性有点差=。=,但是先别在意这个,现在我们来测试一下:
- 首先将Cat.class改回汪汪汪,然后release打开proguard,签名打包(记得选release的buildtypes)。发现patch文件夹中已经生成mapping.txt了
- 然后随意修改一下Cat.class,Circle.class(这次弄两个类测试好了……)
- 然后dopatch也打开proguard,签名打包(记得选dopatch的buildtypes)
PS:记得每次打包前都Clean一下项目哦,否则可能会出现一些问题。比如代码重复注入,反编译可能看到有多行’System.out.println(AntilazyLoad.class)’
锵锵锵锵!自动打包补丁成功!(=。=,自己手动命令行打包吧,用java代码总是说找不到dx工具,有空再找找原因)
五、写在后面
热补丁框架算是完成了,剩下一个补丁包的签名校验问题,目前也不太想研究,想重构一下项目再说。
这是重构之前的项目下载地址,乱起八糟的,有兴趣的可以下载玩玩。
http://download.csdn.net/detail/u010386612/9498420
下一章博客,我准备重构项目,可能会舍弃掉Transfrom这个api,如果不混淆的话还是很好用的,混淆的话我觉得有点反人类了!
这热补丁研究了好长时间了,算是告一段落了,感谢大家支持。
这篇关于Android热补丁动态修复技术(四):自动化生成补丁——解决混淆问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!