商汤科技2020数据分析师0820笔试题目整理

2024-02-03 00:38

本文主要是介绍商汤科技2020数据分析师0820笔试题目整理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2019年8月19日
问答题1:缺失值数据预处理有哪些方法?https://juejin.im/post/5b5c4e6c6fb9a04f90791e0c
处理缺失值的方法如下:删除记录,数据填补和不处理。主要以数据填补为主。
在这里插入图片描述
1 删除记录:该种方法在样本数据量十分大且确实值不多的情况下非常有效。
2 数据填补:插补大体有替换缺失值,拟合缺失值,虚拟变量等操作。替换是通过数据中非缺失数据的相似性来填补,其中的核心思想是发现相同群体的共同特征,拟合是通过其他特征建模来填补,虚拟变量是衍生的新变量代替缺失值。
替换缺失值:
1 定类数据:众数填补
2定量(定比)数据: 平均数或中位数填补
3 热卡填补: 热卡填充法是在完整数据中找到一个与它最相似的对象,然后用这个相似对象的值来进行填充。
4 k最近距离邻法(k-means cluster)
通过无监督机器学习的k均值聚类的方法将所有样本进行聚类划分,然后在通过划分的种类的均值对各自类中的缺失值进行填补。本质是通过找相似来填补缺失值。
拟合缺失值
如果缺失的变量跟其他特征变量相关,则通过建模预测的缺失值就有意义,反之则不用
回归预测:
基于完整的数据集,建立回归方程。对于有缺失值的特征值,将已知的特征值代入模型来估计未知特征值,一次估计值来进行填充。(该方法适合缺失值是连续的,即定量的类型,才可以使用回归来预测。)
极大似然估计:
在随机类型为随机缺失的条件下,假设模型对于完整的样本是正确的,那么通过观测数据的边际分布可以对未知参数进行极大似然估计。(该方法适合大样本)
多重插补:
多重插补的思想来源于贝叶斯估计,认为待插补的值是随机的,它的值来自于已观测到的值。具体实践上通常是估计出待插补的值,然后再加上不同的额噪声,形成多组可选插补值。根据某种选择依据,选取最合适的插补值。
根据数据缺失机制、模式以及变量类型,可分别采用回归、预测均数匹配( predictive mean matching, PMM )、趋势得分( propensity score, PS )、Logistic回归、判别分析以及马尔可夫链蒙特卡罗( Markov Chain Monte Carlo, MCMC) 等不同的方法进行填补。
注:使用多重插补要求数据缺失值为随机性缺失,一般重复次数20-50次精准度很高,但是计算也很复杂,需要大量计算。
随机森林:
虚拟变量
虚拟变量其实就是缺失值的一种衍生变量,。具体做法是通过判断特征值是否有缺失值来定义一个新的二分类变量。
不处理
在希望保持原始信息不发生变化的前提下对信息系统进行处理

问答题2中心极限定理是什么?他的应用方向是:
中心极限定理就是研究随机变量和的极限分布在什么条件下为正态分布的问题。
(1)独立同分布的中心极限定理[林德伯格-列维(Lindburg-Levy)定理]
应用一:求随机变量之和Sn落在某区间的概率。
应用二:已知随机变量之和Sn取值的概率,求随机变量的个数n。
(2)棣莫佛-拉普拉斯(de Movire - Laplace)定理
应用一:近似计算服从二项分布的随机变量在某范围内取值的概率
应用二:已知服从二项分布的随机变量在某范围内取值的概率,估计该范围(或该范围的最大值)。
应用三:与用频率估计概率有关的二项分布的近似计算
(3)李雅普诺夫定理
问答题3:
在这里插入图片描述
1 对于外层职工关系 A 中的每一个记录,都要对内层职工关系B进行检索,所有效率不高
2.(1)使用临时表
SELECT MAX(月工资) as 最高工资,部门号 INTO temp FROM 职工
GROUP BY 部门号;
SELECT 职工号 FROM 职工,temp WHERE 月工资=最高工资
AND 职工.部门号 = temp.部门号;
(2) SELECT 职工号 FROM 职工,(SELECT MAX(月工资) as 最高工资,部门号 FROM 职工 GROUP BY 部门号) as DEPMAX

WHERE 月工资=最高工资 AND 职工.部门号 = DEPMAX. 部门号;
SQL经典5道
https://cloud.tencent.com/developer/article/1062773
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述v
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

这篇关于商汤科技2020数据分析师0820笔试题目整理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/672497

相关文章

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

Mysql中深分页的五种常用方法整理

《Mysql中深分页的五种常用方法整理》在数据量非常大的情况下,深分页查询则变得很常见,这篇文章为大家整理了5个常用的方法,文中的示例代码讲解详细,大家可以根据自己的需求进行选择... 目录方案一:延迟关联 (Deferred Join)方案二:有序唯一键分页 (Cursor-based Paginatio

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.