无需编码的深度学习平台 automated machine learning (AutoML)

2023-10-22 00:10

本文主要是介绍无需编码的深度学习平台 automated machine learning (AutoML),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

阿里云PAI

https://www.aliyun.com/product/bigdata/product/learn?spm=5176.12825654.eofdhaal5.174.e9392c4aaIUsfi

 

PAI起初是服务于阿里巴巴集团内部(例如淘宝、支付宝和高德)的机器学习平台,致力于让公司内部开发者更高效、简洁、标准地使用人工智能AI(Artificial Intelligence)技术。随着PAI的不断发展,2018年PAI平台正式商业化,目前已经积累了数万的企业客户和个人开发者,是国内领先的云端机器学习平台之一。

PAI底层支持多种计算框架:

  • 流式计算框架Flink。
  • 基于开源版本深度优化的深度学习框架TensorFlow。
  • 千亿特征样本的大规模并行计算框架Parameter Server。
  • Spark、PySpark、MapReduce等业内主流开源框架。

PAI提供的服务:

  • 可视化建模和分布式训练PAI-Studio。
  • Notebook交互式AI研发PAI-DSW(Data Science Workshop)。
  • 自动化建模PAI-AutoLearning。
  • 在线预测PAI-EAS(Elastic Algorithm Service)。

PAI的优势:

  • 服务支持单独或组合使用。支持一站式机器学习,您只要准备好训练数据(存放到OSS或MaxCompute中),所有建模工作(包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境)都可以通过PAI实现。
  • 对接DataWorks,支持SQL、UDF、UDAF、MR等多种数据处理方式,灵活性高。
  • 生成训练模型的实验流程支持DataWorks周期性调度,且调度任务区分生产环境和开发环境,进而实现数据安全隔离。

 

腾讯I-ONE

 

机器学习建模时算法工程师有两种选择:

一种是自建,使用框架建模,如Caffee、PyTorch、TensorFlow等。

另一种是直接使用机器学习平台,比如智能钛TI-ONE。

我们可以看下这两者的区别:

框架角度

对于自建,每种框架都需要安装、部署在机器上,并进行相应的维护。同时每种框架都有不同的版本,兼顾维护各个框架版本的依赖环境就是一笔时间开销。

对于智能钛TI-ONE,我们已经将框架集成到平台,并且调试好了,提供的是平台级的算法建模服务,“开箱即用”。

算法角度

对于自建框架的用户来说,需要不断从开源社区去找一些算法拿来使用,也会涉及到对算法bug的一些修改工作。

对于智能钛TI-ONE,我们已经将用得比较多的算法调试好,部署在平台上,用户可以直接托拉拽、notebook或通过SDK的方式使用。一些些工程性的建模支持服务,平台已经为算法工程师准备好,工程师可将注意力完全集中在模型搭建上。

TI-ONE产品架构

资源层

数据存储上,支持多种存储方式,如分布式文件系统HDFS、CEPH,对象存储COS、文件存储CFS。计算资源上,具备大量云上计算资源,同时支持本地算力。

调度层

云上建模有大量用户,有大量计算集群,不同的训练任务需要有分布式调度工具。分布式资源调度套件,采用的是腾讯自研的资源调度平台,能够支持大型的云集任务。

框架层

支持Spark、TensorFlow、Angel、PyCaffee、Pyspark、Pytorch等主流机器学习框架。

算法层

支持上百种机器学习算法,包括传统机器学习算法、图算法、深度学习算法,且在不断丰富中。

交互层

三种不同的交互方式,满足不同的用户群体。

可视化建模

托拉拽方式搭建工作流,简单易上手,适合AI小白。

Notebook

交互式的数据探索和建模过程,适合有一定算法基础的人群,提供更大的灵活性。

SDK

更适合建模专家使用,提供更大的粘合度。

 

百度BML

https://cloud.baidu.com/doc/BML/index.html

BML包括三个核心模块:

  • 模型训练:提供两种模型训练方式,您可以根据需要选择合适的模型开发方式。

    • Notebook:内置了完全托管的交互式编程环境Jupyter Lab,实现数据处理和代码调试。
    • 作业建模:支持多种深度/机器学习框架,一键发起大规模训练作业,最大化提升训练效率及效果。包括四种类型的作业:深度学习作业、机器学习作业、AutoDL作业、AutoML作业。
  • 模型仓库:将训练好的模型按照不同模型类别、性质、分类、版本有序进行存储和管理。
  • 预测服务:快速将训练好的模型部署为高可用的在线服务,灵活选用多种计算部件加速预测执行,并可以通过A/B Test、灰度升级、服务监控等完成模型试验迭代和服务运维管理。

机器学习是连续的周期过程,模型开发 - 模型管理 - 发布预测服务进行生产部署,然后,您可以结合更多业务数据,根据实际使用情况,重新训练模型来提高预测准确性。

 

BML提供了内置TensorFlow、Keras、PyTorch、Caffe、Mxnet、Chainer、CNTK和PaddlePaddle等算法框架的交互式代码编辑及运行环境Jupyter Lab。

 

 

微软azure

https://azure.microsoft.com/en-us/services/machine-learning/#features


初学者教程

  • 尝试使用Python的Jupyter笔记本
  • 拖放实验
  • 使用自动化的ML UI
  • 配置您的开发环境

高级教程

  • 通过自动ML预测出租车票价
  • 使用scikit-learn对图像进行分类
  • 使用Azure ML管道进行批处理评分

精选视频

  • Azure机器学习入门
  • 使用自动化机器学习来构建模型
  • 使用Azure机器学习设计器构建零代码模型
  • 用于管理端到端生命周期的MLOps
  • 将ONNX Runtime集成到模型中
  • 模型的可解释性和透明度
  • 使用R建立模型

 

Azure Machine Learning studio.

https://docs.microsoft.com/en-us/machine-learning-server/operationalize/python/quickstart-deploy-python-web-service

https://docs.microsoft.com/en-us/azure/machine-learning/how-to-run-jupyter-notebooks

即将关闭

https://notebooks.azure.com/

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-github

 

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-notebooks-in-visual-studio-code

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-notebooks-with-azure-machine-learning

 

 

 

goolge palyground

https://playground.tensorflow.org/#activation=tanh&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=4,2&seed=0.90608&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false

 

https://developers.google.com/machine-learning/crash-course/introduction-to-neural-networks/playground-exercises

 

 

google Cloud AutoML

https://cloud.google.com/automl

https://cloud.google.com/automl/docs

https://cloud.google.com/vision/overview/docs#automl-vision

 

这篇关于无需编码的深度学习平台 automated machine learning (AutoML)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/257828

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影