CSDN-AutoML技术实践与应用

2024-04-20 23:38

文章标签 技术实践应用 csdn automl

本文主要是介绍CSDN-AutoML技术实践与应用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

第四范式
腾讯云

第四范式

树模型对于高维离散特征效果不好

在这里插入图片描述逐域网络 Field-wise network
跨域网络 Across field
补充：FM
融合网络

在这里插入图片描述
逐域网络数量多（1000个域有1000个DNN），但比较轻量

拼起来丢进去算，连续的做一次，离散的做一次

在这里插入图片描述聚类：tSNE
域内相似度更搞，域与域距离更大

在这里插入图片描述 LR 线性组合
FM 两两内积
Attention 有选择性地学习

用什么没有定论，需要大量实验

把好的operator放进来，用不用当做超参数，用数据驱动的方式选择operator。

在这里插入图片描述
上面的数据是千万级的

下面的数据是百万级的

在这里插入图片描述堆叠了这么多层会不会使效果更差？是的

采用逐层监督的方式

对于label而言，中间层也有区分度

借鉴了谷歌的网络

针对每层设置不同的权重，下面的权重低一点，上面的权重高

随着训练decay下面的weight

实际预测删除Aux Loss

在这里插入图片描述

在这里插入图片描述

前3个是公开数据集，后3个是他们客户的数据

在这里插入图片描述
NFM倾向于做推荐系统，而不是CTR

在这里插入图片描述
把模型拿到客户现成试了下

在这里插入图片描述

不用关心与模型相关的超参数，只用关系与计算资源相关的超参数

在这里插入图片描述

SH问题：给资源该怎么分配

HP：把给资源的方式枚举一遍

过于agressive

重要性采样

HP是在内部对于，跨band对比

在这里插入图片描述

数据越大降低的代价越多

在这里插入图片描述

腾讯云

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

spark跑在k8s上

每个worker手动装Python依赖

把依赖打到镜像，算法部署很便利

从spark2.2尝试开始用k8s的方式

官方正式更新后用官方代码

在这里插入图片描述

借用AutoKeras

衡量距离时用到了编辑距离

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这篇关于CSDN-AutoML技术实践与应用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

http://www.chinasem.cn/article/921634。 23002807@qq.com

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。二、现有方法及问题对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M

阅读更多...

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录一.定义：精确模式（默认模式）：全模式：搜索引擎模式： paddle 模式（基于深度学习的分词模式）：二自定义词典三.文本解析调整词出现的频率四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

阅读更多...

水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。一、水位雨量在线监测系统的基本原理水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。数据采集单元：这是系统的“眼睛”，

阅读更多...

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉这也是自己独自做扩展欧几里得算法的题目题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解下面介绍一下exgcd的一些知识点：求ax + by = c的解一、首先求ax + by = gcd(a,b)的解这个

阅读更多...

hdu1394(线段树点更新的应用)

hdu1394(线段树点更新的应用)

题意：求一个序列经过一定的操作得到的序列的最小逆序数这题会用到逆序数的一个性质，在0到n-1这些数字组成的乱序排列，将第一个数字A移到最后一位，得到的逆序数为res-a+(n-a-1) 知道上面的知识点后，可以用暴力来解代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

阅读更多...

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

原文链接： https://tecdat.cn/?p=37628 6月16日，小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞，这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示，公司准备量产，并计划今年四季度开启预售小鹏汇天分体式飞行汽车，探索分体式飞行汽车城际通勤。阅读原文，获取专题报告合集全文，解锁文末271份飞行汽车相关行业研究报告。据悉，业内人士对飞行汽车行业

阅读更多...

zoj3820(树的直径的应用)

zoj3820(树的直径的应用)

题意：在一颗树上找两个点，使得所有点到选择与其更近的一个点的距离的最大值最小。思路：如果是选择一个点的话，那么点就是直径的中点。现在考虑两个点的情况，先求树的直径，再把直径最中间的边去掉，再求剩下的两个子树中直径的中点。代码如下： #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#

阅读更多...

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性，将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、

阅读更多...

AI行业应用(不定期更新)

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件，然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它，快速获取到想要知道的信息。https://www.chatpdf.com/

阅读更多...

金融业开源技术术语

金融业开源技术术语

金融业开源技术术语 1 范围本文件界定了金融业开源技术的常用术语。本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

阅读更多...