CSDN-AutoML技术实践与应用

2024-04-20 23:38
文章标签 技术 实践 应用 csdn automl

本文主要是介绍CSDN-AutoML技术实践与应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 第四范式
  • 腾讯云

第四范式

树模型对于高维离散特征效果不好

在这里插入图片描述在这里插入图片描述逐域网络 Field-wise network
跨域网络 Across field
补充:FM
融合网络

在这里插入图片描述
逐域网络数量多(1000个域有1000个DNN),但比较轻量

拼起来丢进去算,连续的做一次,离散的做一次

在这里插入图片描述聚类:tSNE
域内相似度更搞,域与域距离更大

在这里插入图片描述LR 线性组合
FM 两两内积
Attention 有选择性地学习

用什么没有定论,需要大量实验

把好的operator放进来,用不用当做超参数,用数据驱动的方式选择operator。

在这里插入图片描述
上面的数据是千万级的

下面的数据是百万级的

在这里插入图片描述堆叠了这么多层会不会使效果更差?是的

采用逐层监督的方式

对于label而言,中间层也有区分度

借鉴了谷歌的网络

针对每层设置不同的权重,下面的权重低一点,上面的权重高

随着训练decay下面的weight

实际预测删除Aux Loss

在这里插入图片描述

在这里插入图片描述

前3个是公开数据集,后3个是他们客户的数据

在这里插入图片描述
NFM倾向于做推荐系统,而不是CTR

在这里插入图片描述
把模型拿到客户现成试了下

在这里插入图片描述

不用关心与模型相关的超参数,只用关系与计算资源相关的超参数

在这里插入图片描述

SH问题:给资源该怎么分配

HP:把给资源的方式枚举一遍

过于agressive

重要性采样

HP是在内部对于,跨band对比

在这里插入图片描述

数据越大降低的代价越多

在这里插入图片描述

腾讯云

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

spark跑在k8s上

每个worker手动装Python依赖

把依赖打到镜像,算法部署很便利

从spark2.2尝试开始用k8s的方式

官方正式更新后用官方代码

在这里插入图片描述

借用AutoKeras

衡量距离时用到了编辑距离

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这篇关于CSDN-AutoML技术实践与应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/921634

相关文章

Oracle查询优化之高效实现仅查询前10条记录的方法与实践

《Oracle查询优化之高效实现仅查询前10条记录的方法与实践》:本文主要介绍Oracle查询优化之高效实现仅查询前10条记录的相关资料,包括使用ROWNUM、ROW_NUMBER()函数、FET... 目录1. 使用 ROWNUM 查询2. 使用 ROW_NUMBER() 函数3. 使用 FETCH FI

在C#中获取端口号与系统信息的高效实践

《在C#中获取端口号与系统信息的高效实践》在现代软件开发中,尤其是系统管理、运维、监控和性能优化等场景中,了解计算机硬件和网络的状态至关重要,C#作为一种广泛应用的编程语言,提供了丰富的API来帮助开... 目录引言1. 获取端口号信息1.1 获取活动的 TCP 和 UDP 连接说明:应用场景:2. 获取硬

Java内存泄漏问题的排查、优化与最佳实践

《Java内存泄漏问题的排查、优化与最佳实践》在Java开发中,内存泄漏是一个常见且令人头疼的问题,内存泄漏指的是程序在运行过程中,已经不再使用的对象没有被及时释放,从而导致内存占用不断增加,最终... 目录引言1. 什么是内存泄漏?常见的内存泄漏情况2. 如何排查 Java 中的内存泄漏?2.1 使用 J

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像

Linux中Curl参数详解实践应用

《Linux中Curl参数详解实践应用》在现代网络开发和运维工作中,curl命令是一个不可或缺的工具,它是一个利用URL语法在命令行下工作的文件传输工具,支持多种协议,如HTTP、HTTPS、FTP等... 目录引言一、基础请求参数1. -X 或 --request2. -d 或 --data3. -H 或

在Ubuntu上部署SpringBoot应用的操作步骤

《在Ubuntu上部署SpringBoot应用的操作步骤》随着云计算和容器化技术的普及,Linux服务器已成为部署Web应用程序的主流平台之一,Java作为一种跨平台的编程语言,具有广泛的应用场景,本... 目录一、部署准备二、安装 Java 环境1. 安装 JDK2. 验证 Java 安装三、安装 mys

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器:基石搭建(一

Docker集成CI/CD的项目实践

《Docker集成CI/CD的项目实践》本文主要介绍了Docker集成CI/CD的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、引言1.1 什么是 CI/CD?1.2 docker 在 CI/CD 中的作用二、Docke

java中VO PO DTO POJO BO DO对象的应用场景及使用方式

《java中VOPODTOPOJOBODO对象的应用场景及使用方式》文章介绍了Java开发中常用的几种对象类型及其应用场景,包括VO、PO、DTO、POJO、BO和DO等,并通过示例说明了它... 目录Java中VO PO DTO POJO BO DO对象的应用VO (View Object) - 视图对象