无需编码的深度学习平台 automated machine learning (AutoML)

2023-10-22 00:10

本文主要是介绍无需编码的深度学习平台 automated machine learning (AutoML),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

阿里云PAI

https://www.aliyun.com/product/bigdata/product/learn?spm=5176.12825654.eofdhaal5.174.e9392c4aaIUsfi

 

PAI起初是服务于阿里巴巴集团内部(例如淘宝、支付宝和高德)的机器学习平台,致力于让公司内部开发者更高效、简洁、标准地使用人工智能AI(Artificial Intelligence)技术。随着PAI的不断发展,2018年PAI平台正式商业化,目前已经积累了数万的企业客户和个人开发者,是国内领先的云端机器学习平台之一。

PAI底层支持多种计算框架:

  • 流式计算框架Flink。
  • 基于开源版本深度优化的深度学习框架TensorFlow。
  • 千亿特征样本的大规模并行计算框架Parameter Server。
  • Spark、PySpark、MapReduce等业内主流开源框架。

PAI提供的服务:

  • 可视化建模和分布式训练PAI-Studio。
  • Notebook交互式AI研发PAI-DSW(Data Science Workshop)。
  • 自动化建模PAI-AutoLearning。
  • 在线预测PAI-EAS(Elastic Algorithm Service)。

PAI的优势:

  • 服务支持单独或组合使用。支持一站式机器学习,您只要准备好训练数据(存放到OSS或MaxCompute中),所有建模工作(包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境)都可以通过PAI实现。
  • 对接DataWorks,支持SQL、UDF、UDAF、MR等多种数据处理方式,灵活性高。
  • 生成训练模型的实验流程支持DataWorks周期性调度,且调度任务区分生产环境和开发环境,进而实现数据安全隔离。

 

腾讯I-ONE

 

机器学习建模时算法工程师有两种选择:

一种是自建,使用框架建模,如Caffee、PyTorch、TensorFlow等。

另一种是直接使用机器学习平台,比如智能钛TI-ONE。

我们可以看下这两者的区别:

框架角度

对于自建,每种框架都需要安装、部署在机器上,并进行相应的维护。同时每种框架都有不同的版本,兼顾维护各个框架版本的依赖环境就是一笔时间开销。

对于智能钛TI-ONE,我们已经将框架集成到平台,并且调试好了,提供的是平台级的算法建模服务,“开箱即用”。

算法角度

对于自建框架的用户来说,需要不断从开源社区去找一些算法拿来使用,也会涉及到对算法bug的一些修改工作。

对于智能钛TI-ONE,我们已经将用得比较多的算法调试好,部署在平台上,用户可以直接托拉拽、notebook或通过SDK的方式使用。一些些工程性的建模支持服务,平台已经为算法工程师准备好,工程师可将注意力完全集中在模型搭建上。

TI-ONE产品架构

资源层

数据存储上,支持多种存储方式,如分布式文件系统HDFS、CEPH,对象存储COS、文件存储CFS。计算资源上,具备大量云上计算资源,同时支持本地算力。

调度层

云上建模有大量用户,有大量计算集群,不同的训练任务需要有分布式调度工具。分布式资源调度套件,采用的是腾讯自研的资源调度平台,能够支持大型的云集任务。

框架层

支持Spark、TensorFlow、Angel、PyCaffee、Pyspark、Pytorch等主流机器学习框架。

算法层

支持上百种机器学习算法,包括传统机器学习算法、图算法、深度学习算法,且在不断丰富中。

交互层

三种不同的交互方式,满足不同的用户群体。

可视化建模

托拉拽方式搭建工作流,简单易上手,适合AI小白。

Notebook

交互式的数据探索和建模过程,适合有一定算法基础的人群,提供更大的灵活性。

SDK

更适合建模专家使用,提供更大的粘合度。

 

百度BML

https://cloud.baidu.com/doc/BML/index.html

BML包括三个核心模块:

  • 模型训练:提供两种模型训练方式,您可以根据需要选择合适的模型开发方式。

    • Notebook:内置了完全托管的交互式编程环境Jupyter Lab,实现数据处理和代码调试。
    • 作业建模:支持多种深度/机器学习框架,一键发起大规模训练作业,最大化提升训练效率及效果。包括四种类型的作业:深度学习作业、机器学习作业、AutoDL作业、AutoML作业。
  • 模型仓库:将训练好的模型按照不同模型类别、性质、分类、版本有序进行存储和管理。
  • 预测服务:快速将训练好的模型部署为高可用的在线服务,灵活选用多种计算部件加速预测执行,并可以通过A/B Test、灰度升级、服务监控等完成模型试验迭代和服务运维管理。

机器学习是连续的周期过程,模型开发 - 模型管理 - 发布预测服务进行生产部署,然后,您可以结合更多业务数据,根据实际使用情况,重新训练模型来提高预测准确性。

 

BML提供了内置TensorFlow、Keras、PyTorch、Caffe、Mxnet、Chainer、CNTK和PaddlePaddle等算法框架的交互式代码编辑及运行环境Jupyter Lab。

 

 

微软azure

https://azure.microsoft.com/en-us/services/machine-learning/#features


初学者教程

  • 尝试使用Python的Jupyter笔记本
  • 拖放实验
  • 使用自动化的ML UI
  • 配置您的开发环境

高级教程

  • 通过自动ML预测出租车票价
  • 使用scikit-learn对图像进行分类
  • 使用Azure ML管道进行批处理评分

精选视频

  • Azure机器学习入门
  • 使用自动化机器学习来构建模型
  • 使用Azure机器学习设计器构建零代码模型
  • 用于管理端到端生命周期的MLOps
  • 将ONNX Runtime集成到模型中
  • 模型的可解释性和透明度
  • 使用R建立模型

 

Azure Machine Learning studio.

https://docs.microsoft.com/en-us/machine-learning-server/operationalize/python/quickstart-deploy-python-web-service

https://docs.microsoft.com/en-us/azure/machine-learning/how-to-run-jupyter-notebooks

即将关闭

https://notebooks.azure.com/

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-github

 

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-notebooks-in-visual-studio-code

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-notebooks-with-azure-machine-learning

 

 

 

goolge palyground

https://playground.tensorflow.org/#activation=tanh&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=4,2&seed=0.90608&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false

 

https://developers.google.com/machine-learning/crash-course/introduction-to-neural-networks/playground-exercises

 

 

google Cloud AutoML

https://cloud.google.com/automl

https://cloud.google.com/automl/docs

https://cloud.google.com/vision/overview/docs#automl-vision

 

这篇关于无需编码的深度学习平台 automated machine learning (AutoML)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/257828

相关文章

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

VSCode中C/C++编码乱码问题的两种解决方法

《VSCode中C/C++编码乱码问题的两种解决方法》在中国地区,Windows系统中的cmd和PowerShell默认编码是GBK,但VSCode默认使用UTF-8编码,这种编码不一致会导致在VSC... 目录问题方法一:通过 Code Runner 插件调整编码配置步骤方法二:在 PowerShell

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

无需邀请码!Manus复刻开源版OpenManus下载安装与体验

《无需邀请码!Manus复刻开源版OpenManus下载安装与体验》Manus的完美复刻开源版OpenManus安装与体验,无需邀请码,手把手教你如何在本地安装与配置Manus的开源版OpenManu... Manus是什么?Manus 是 Monica 团队推出的全球首款通用型 AI Agent。Man

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Python如何实现读取csv文件时忽略文件的编码格式

《Python如何实现读取csv文件时忽略文件的编码格式》我们再日常读取csv文件的时候经常会发现csv文件的格式有多种,所以这篇文章为大家介绍了Python如何实现读取csv文件时忽略文件的编码格式... 目录1、背景介绍2、库的安装3、核心代码4、完整代码1、背景介绍我们再日常读取csv文件的时候经常

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操