百度全功能AI开发平台BML自动超参搜索技术全面解析

本文主要是介绍百度全功能AI开发平台BML自动超参搜索技术全面解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


 

在人工智能领域,算法工程师在训练神经网络模型的过程中,完成网络构建和准备好训练数据后,往往需要对模型进行各种参数优化,以获得更好的模型效果。但调参其实并不简单,背后往往是通宵达旦的参数调试与效果验证,并需要做大量的实验,不仅耗时还耗费大量算力。

这个时候,往往想尝试自动超参搜索的算法工程师,大多会开始担心算力要求所带来的额外训练成本。

莫慌!百度全功能 AI 开发平台 BML 带着免费算力额度与自动超参搜索能力来了!

先来介绍百度最近全新升级的 BML,何方神圣?

全功能 AI 开发平台 BML(Baidu Machine Learning) ,是为企业和个人开发者提供机器学习和深度学习的一站式 AI 开发服务,并提供高性价比的算力资源,助力企业快速构建高精度 AI 应用。BML 提供了从数据采集、数据清洗、数据标注、智能标注与多人标注、模型训练生产到模型管理、云端及离线推理服务管理等 AI 开发过程的全生命周期管理功能。

BML 内置百度超大规模预训练模型,只需少量数据即可获得高精度模型效果。目前,BML 已经支持脚本调参、Notebook自定义作业这三种开发建模方式,灵活匹配企业开发者的开发习惯。

在目前的脚本调参使用流程中,BML 已经预设了模型超参数,但由于用户数据集内容丰富多样,预设的超参数很难在所有的数据集上得到很好的训练效果。用户可以自行调整超参数,但是手动调参十分耗费人力。为了减轻用户在调参上的精力投入, BML 的研发大佬们日夜奋战,为用户上线了自动超参搜索的功能,帮助用户自动搜索效果较优的超参组合,省去调参的烦恼。

话不多说,进入本次正题,百度 BML 的自动超参搜索技术有哪些亮点?

  • 提供多种搜索算法

    所谓“超参”,有别于模型网络结构内部各层的参数,是指需要人为调整,通过人为经验设置来提高模型效果的参数,常见的超参包括学习率(learning_rate)、批样本数量(batch_size)等。在超参搜索的过程中,由于模型复杂、计算成本很高,且每个超参数都有较大的取值范围,导致搜索空间十分庞大,因此我们需要有“自动”超参搜索。

    自动超参搜索相比于人工调参,主要是省去了人工观察实验结果并调整参数再试验的过程,自动超参搜索把这个步骤用各种搜索算法来代替。

BML 提供的搜索算法有:

  • 随机搜索:顾名思义是在参数变量的变化区间中随机采样参数组合成候选集,应用候选集进行训练和效果对比。随机搜索是普适的效率较高的搜索方法,通常作为基线标准,适用于对效率要求较高的情况,但不能保证一定能搜索到最佳的超参。

  • 贝叶斯搜索:在搜索空间中随机选取初始超参数点,然后根据已有超参对应的指标结果拟合概率模型,通过概率模型推测最佳超参点,接着再试验得到这些超参点的结果。如此反复优化,再有限试验次数中搜索出合适的超参数。基于模型的序贯优化方法(SMBO, Sequential Model-Based Optimization)是贝叶斯搜索的一种范式,包括两个部分: 代理模型(surrogate model)和 采集函数(acquisition function)。根据代理模型和采集函数的不同,贝叶斯搜索方法也有许多实现形式,其中 TPE(Tree-structured Parzen Estimator)是一种全局探索能力较佳的方法,采用核密度估计方法(KDE, Kernel Density Estimation)生成代理模型,采用 EI(Expected Improvement)作为其采集函数生成新采样点。

  • 进化算法:进化算法是一种基于种群概念的超参搜索策略,把超参配置视为一个种群,并行优化多个种群并在种群内部进行优胜劣汰的筛选,最终输出最佳模型。这个过程(如下图所示)是从遗传算法获得的灵感,种群的初始化采用随机的方式生成,个体的优胜劣汰具体指利用(exploit)和探索(explore)两个步骤,不仅可能会从表现较好的个体中复制参数,它还能通过随机扰动修正当前的值而探索新的超参数组合。

图片来源:https://arxiv.org/pdf/1711.09846v1.pdf

百度创新提出了随机微分方程无梯度优化算法 PSHE2,采用哈密尔顿动力系统搜索参数空间中“势能”最低的点以替代随机扰动,加速迭代收敛。超参搜索过程中想要求得最优解就是要找到更新超参数组合的方法,即如何更新超参数,才能让算法更快更好地收敛到最优解。PSHE2 算法根据超参数本身历史的最优,在一定随机扰动的情况下决定下一步的更新方向。过程如图所示。

图片来源:

https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.5/docs/tutorial/autofinetune.md

自动超参搜索方法比较

上表归纳了一下这些搜索方法的优缺点。总之,网格搜索和随机搜索实现上比较简单,不利用先验知识选择下一组超参数,其中随机搜索效率相对较高。贝叶斯搜索和进化算法需要用前一轮的信息进行迭代搜索,搜索效率明显提升。

BML 自动超参搜索的实现:系统架构

BML 自动超参搜索功能基于百度自研自动超参搜索服务,服务运行过程如下图所示,依靠百度智能云 CCE 算力,支持多自动搜索任务并发。为了提供一个“好用”的自动超参搜索服务,架构实现时在并发搜索效率提升和系统容错方面着重进行了考虑。

 

一次超参搜索任务包含以下流程:

  1. 业务平台把超参搜索任务的用户配置信息提交到超参搜索服务,会创建一次搜索实验(Experiment),并记录到 db 中。

  2. 搜索服务把任务提交到 Experiment controller, 由 controller 初始化创建 Trial 管理模块,并负责 Experiment 生命周期的管理。

  3. Trial 是具体的训练试验,一个 Experiment 会产生多个 Trial 来探索不同超参数组合的最终效果。Tuner 是超参生成的模块,会根据选择的超参搜索算法,推荐下一个 Trial 所使用的超参值。在 Trial 管理模块中,Exp Manager 会负责生成若干 Trial, 向 Tuner 请求具体的试验超参数,并向 Trial Scheduler 发送 Trial 任务信息。

  4. Trial Scheduler 会与底层资源交互实际启动 Trial。Trial Scheduler 会管理所有 Trial 的生命周期。

  5. 每个 Trial 运行完成后,会向 Exp Manager 汇报指标等信息,用于汇报给 tuner 并记录到 db。

BML 自动超参搜索主要有以下特性:

  1. 简单易用:相比于同类产品的复杂配置,BML 在为用户提供必须的开放配置项的前提下,尽可能减少超参配置的繁琐程度,凡是可以自动化的工作均不对用户可见。

  2. 模型丰富:与脚本调参上提供的丰富的模型打通,可以直接配置化完成相应任务的搜索,甚至不用写代码!

  3. 容错机制:自动超参搜索任务具有模型训练次数多、任务整体运行时间长的特点,受显存资源限制,有些搜索出的超参数无法成功运行。兼顾搜索效果和可用产出,增设模型训练失败次数阈值,把 Experiment 和 Trial 这样多任务的复杂状态管理分拆到各层模块中,尽可能为用户提供搜索出的可用结果。

  4. 支持早停与采样:搜索框架内部支持自动早停,当达到设定的预期结果时即可自动停止;同时也支持在界面上手动提前停止,减少用户的等待时间,避免不必要的算力消耗。支持用户选择大数据集时自动进行采样,减少超参搜索训练耗时,以尽快搜索出合适的超参为上。

  5. 高效分布式智能搜索:深度学习模型的训练时间往往较长,对于大规模数据集或者复杂模型的搜索任务,单机串行的搜索方式几乎不可用。我们注意到有的搜索算法中每次试验是可以独立进行训练的(如网格搜索、随机搜索),可以直接对所有试验并行化;有的搜索算法虽然本质基于迭代,但每个迭代中的试验运行仍然是相互独立的,因此我们可以在迭代内部进行并行化搜索。BML 内部实现了智能调度系统,根据不同的算法类型,采用不同的并发策略,可以大幅度降低整体搜索时间。

上手实操:自动超参搜索使用攻略

1. 首先登录链接创建一个脚本调参项目,如果已经有项目了,直接用就可以!目前支持超参搜索的项目类型有图像分类(单标签和多标签)及物体检测,创建对应类型的项目就可以了

  • 链接:

    https://ai.baidu.com/bml/app/project/script/list 

2. 在项目里新建任务,配置好任务的网络、数据、脚本之后,就可以看到“配置超参数”的选项了。这里如果已经有超参搜索的结果,可以直接勾选“已有超参搜索结果”来使用,如果第一次使用还没有,就直接选择“自动超参搜索”。

3. 目前 BML 支持了三种超参搜索算法,如图,分别是贝叶斯搜索、随机搜索和进化算法,可以根据自己需要选择一种来搜索。具体配置项说明可以参考技术文档。

3.1 贝叶斯搜索的参数说明 

  • 【初始点数量】代表贝叶斯搜索中,初始化时参数点的数量,该算法基于这些参数信息推测最优点 ,填写范围1-20。

  • 【最大并发量】贝叶斯搜索中,同时进行试验的数量,并发量越大,搜索效率越高,填写范围1-20。不过这个并发量也会受限于页面最下方选择的 GPU 数量,实际并发量是二者的较小值。

  • 【超参范围设置】可以是默认配置,也可以手动配置。默认的话百度的工程师们已经帮我们对不同网络、GPU 卡型设置了一个基本靠谱的搜索范围,直接用就可以。当然也可以手动配置,可以自定义各个超参的范围,可以看到物体检测支持以下这些超参自定义搜索范围:

  • 【最大搜索次数】是指最多组合出多少组超参并跑试验,当然有可能会因为提前达到目标而停止,节约费用。

  • 【数据采样比例】使用超参搜索时,会对原始数据集进行采样后再训练,加快搜索速度。当数据集并不大时,不推荐采样哟,可能会影响最终效果,只有大数据量时才有使用采样的必要。

  • 【最高 mAP/最高精确率】是指大家期望模型效果可以达到的 mAP(物体检测)或准确率(图像分类)的值,当试验中达到这个值了搜索就会停止,避免后续浪费搜索时间。

3.2 随机搜索参数说明

随机搜索最简单啦,就不需要再额外配置算法相关的参数了,其它公用的选项和贝叶斯搜索的含义是一样的,参考贝叶斯搜索即可。

3.3 进化算法参数说明

进化算法是一种效果较好的算法,应用此算法时也需要进行较多的选项设置: 

  • 【迭代轮数】进化算法运行中迭代的轮数,范围5-50。

  • 【扰动间隔】进化算法每隔几个 epoch 就会进行随机扰动,利用随机因素防止算法结果收敛于局部最优解。

  • 【扰动比例】类似于染色体交叉的形式,迭代中一个种群内最好与最坏的个体依据扰动比例进行交叉。

  • 【随机初始化概率】在扰动中,有一定概率对个体的超参数进行初始化。

  • 【种群个体数量】一个个体代表一种超参数设置,一个种群中包含多个个体。

其它选项和贝叶斯搜索的含义一致,也不重复了。进化算法的配置需要对算法的原理有一定的了解,如果对算法不明白的,就直接用百度给的默认值吧!

4. 超参的选项设置完成了,最后选择 GPU 卡类型和数量,以及最大搜索时间,就可以提交任务啦!这里默认的搜索时间是24小时,毕竟超参搜索会运行多次试验,时间会比较长,需要耐心等待,当然如果选的 GPU 卡数越多,并发试验数就越高,从提交任务到搜索完成的耗时就会变少,这是显而易见的.

5. 任务提交之后,过一会当任务进入“超参搜索中”的状态时,就可以看到各个试验的进度了,包括各个试验的状态、日志和准确率(mAP)。

6. 超参搜索训练完成后,效果最优的5次试验可以看到详细的评估结果,也能用于后续的效果校验和发布。当然,如果在超参搜索时对数据进行了采样,这时候可以重新发起一次训练任务,用这次搜索出来效果满意的超参数进行全量数据训练,从而获得完整数据的模型效果。

效果才是硬道理:超参搜索效果提升高达20%+

我们对比了图像分类、物体检测、实例分割等任务在使用普通脚本调参和超参搜索的效果情况,以下是5个不同数据集在 BML 平台上分别使用默认脚本调参参数、超参搜索使用进化算法、超参搜索使用贝叶斯搜索算法的效果对比。图中左边纵轴为模型的准确率,右边纵轴为超参搜索算法在效果上提升的比例。可以看到在不同数据集上使用超参搜索后效果均有提升,在默认参数精度已经超过85%的情况下,使用超参搜索仍能提升约5%,在默认参数效果较差的情况下,超参搜索的提升效果更为明显,可高达22%。

 

在常规操作下,可用的深度学习自动超参搜索由于需要集群计算资源,往往被认为只有大公司才能配置,普通开发者难以上手尝试。通过使用百度全功能 AI 开发平台 BML,预算有限也有机会用上自动超参搜索,开发效率瞬间搭上火箭速度,摆脱人力“炼丹”的束缚。BML 现在还为新用户提供100小时免费 P4 显卡算力!羊毛在向你招手,快快点击【阅读原文】进入官网 BML 页面薅一把吧!

这篇关于百度全功能AI开发平台BML自动超参搜索技术全面解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/323536

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

hdu1240、hdu1253(三维搜索题)

1、从后往前输入,(x,y,z); 2、从下往上输入,(y , z, x); 3、从左往右输入,(z,x,y); hdu1240代码如下: #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#inc