大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具

2024-01-19 04:18

本文主要是介绍大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第二章 用来分析大数据的工具


大数据处理的结果其实往往是一个人能看明白的“小”数据表,能被丢进普通的SQL数据库,统计系统或者电子表格进行显示或者再处理的。如果挖掘出来的数据还是很“大”,那么就需要用一些子样本来进行统计分析。在谷歌工作中,我发现随机提取样本的中0.1%作为子样本用来做业务数据的分析效果是不错的。

 

一旦数据被挖掘出来,常常需要对这些数据进行一致性清理(比如美国在英文中表示为US,USA,America等,这时就需要将这些同时代表美国的英文统一为一些规范化的字串,比如ISO3166-1 alpha-2 的规范中,美国就是US)。完成清理只能通过平时的实践来学习,不过使用如OpenRefine或者DataWrangler这样的工具可以协助数据清理的。

 

在统计学和计量学中,数据分析可以被分成4类:1)预测,2)概要,3)估计以及4)检验假设。机器学习一般主要用来做预测;和领域密切相关的数据挖掘同样涉及做概要,并且可以在数据中找到特别有趣的数据模式。计量学家,统计学家以及数据挖掘专家通常会看能从数据中挖出什么。机器学习专家常涉及如何做出一个高效的计算机系统来满足在现有的计算资源中做出有用的预测。现在有个新词叫做数据科学,它主要涉及做预测以及概要(1类和2类数据分析),同时也涉及数据操作,数据可视化和类似的一些任务。请注意,在这个领域里术语并没有被规范化,仅仅是为了展示这些任务是在干嘛,而不是随意的给出个定义。用来描述计算机辅助数据分析的术语有知识挖掘,信息发觉,信息采集,数据考古(寻找并修复一些被遗弃或者封存起来的信息),数据模式处理以及探索性数据分析。

 

很多应用计量学涉及在数据中找到并总结其中数据间的关系,做这个最常用的工具就是(线性)回归。如我们所见,机器学习提供了可以用来总结数据中非线性关系的一组工具,因为这些工具用来做经济上的分析再自然不过,我们下面将着重看这些做回归用的工具。

 

当我们遇到一个最基本的统计预测问题,一般来说我们会想知道在给定变量 时变量y的条件分布是什么。如果我们想要做一个点预测的话,我们可以利用条件分布中的均值或者中位数来做这个预测。

 

在机器学习领域中,变量x通常被称为“预测因子”或者“特征变量”。机器学习的重点就是要找到一些可以提供y的预测值的函数y(x)。回顾历史,机器学习的绝大部分工作都涉及到了横断面数据:这些数据是独立的,是独立同分布的(iid)或者至少是独立分布的。数据可能会很“胖”,表明预测因子和观测相关;或者数据可能会很“高”,表明观测与预测因子相关。

 

通常我们得到yx的数据后我们想要找到一个“良好”的预测方式给出一个新的xy应该得多少。这里“良好”的意思表示最大限度的缩小一些损失函数的值,比如残差的平方和或者残差的绝对平均值等。当然啦,这些对应的损失是由这些新来的x所带来的,而不是之前那些为了做回归用到的x产生的。

 

面对这类问题的时候,经济学家通常一下就会想到用线性或者逻辑回归来解决问题。但是如果是拥有大量数据的情况下,相比上面的两个工具也许会有更好的解决方法,比如一些非线性方法1)分类回归树(CART),2)随机森林以及3)一些带有惩罚性质的回归方法比如LASSO,LARS以及弹性网路回归。当然还有一些其他的方法,比如神经网路,深度学习以及支持向量模型,不过本文中不会提及。这些方法都可以从一些机器学习的文章或者书籍中找到,这里推荐Hastie等在2009年的论文(搜索 Hastie et al. [2009],在原文的参考文献中可找到,免费下载,这里不提及)。

这篇关于大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/621234

相关文章

Go标准库常见错误分析和解决办法

《Go标准库常见错误分析和解决办法》Go语言的标准库为开发者提供了丰富且高效的工具,涵盖了从网络编程到文件操作等各个方面,然而,标准库虽好,使用不当却可能适得其反,正所谓工欲善其事,必先利其器,本文将... 目录1. 使用了错误的time.Duration2. time.After导致的内存泄漏3. jsO

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子