大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具

2024-01-19 04:18

本文主要是介绍大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第二章 用来分析大数据的工具


大数据处理的结果其实往往是一个人能看明白的“小”数据表,能被丢进普通的SQL数据库,统计系统或者电子表格进行显示或者再处理的。如果挖掘出来的数据还是很“大”,那么就需要用一些子样本来进行统计分析。在谷歌工作中,我发现随机提取样本的中0.1%作为子样本用来做业务数据的分析效果是不错的。

 

一旦数据被挖掘出来,常常需要对这些数据进行一致性清理(比如美国在英文中表示为US,USA,America等,这时就需要将这些同时代表美国的英文统一为一些规范化的字串,比如ISO3166-1 alpha-2 的规范中,美国就是US)。完成清理只能通过平时的实践来学习,不过使用如OpenRefine或者DataWrangler这样的工具可以协助数据清理的。

 

在统计学和计量学中,数据分析可以被分成4类:1)预测,2)概要,3)估计以及4)检验假设。机器学习一般主要用来做预测;和领域密切相关的数据挖掘同样涉及做概要,并且可以在数据中找到特别有趣的数据模式。计量学家,统计学家以及数据挖掘专家通常会看能从数据中挖出什么。机器学习专家常涉及如何做出一个高效的计算机系统来满足在现有的计算资源中做出有用的预测。现在有个新词叫做数据科学,它主要涉及做预测以及概要(1类和2类数据分析),同时也涉及数据操作,数据可视化和类似的一些任务。请注意,在这个领域里术语并没有被规范化,仅仅是为了展示这些任务是在干嘛,而不是随意的给出个定义。用来描述计算机辅助数据分析的术语有知识挖掘,信息发觉,信息采集,数据考古(寻找并修复一些被遗弃或者封存起来的信息),数据模式处理以及探索性数据分析。

 

很多应用计量学涉及在数据中找到并总结其中数据间的关系,做这个最常用的工具就是(线性)回归。如我们所见,机器学习提供了可以用来总结数据中非线性关系的一组工具,因为这些工具用来做经济上的分析再自然不过,我们下面将着重看这些做回归用的工具。

 

当我们遇到一个最基本的统计预测问题,一般来说我们会想知道在给定变量 时变量y的条件分布是什么。如果我们想要做一个点预测的话,我们可以利用条件分布中的均值或者中位数来做这个预测。

 

在机器学习领域中,变量x通常被称为“预测因子”或者“特征变量”。机器学习的重点就是要找到一些可以提供y的预测值的函数y(x)。回顾历史,机器学习的绝大部分工作都涉及到了横断面数据:这些数据是独立的,是独立同分布的(iid)或者至少是独立分布的。数据可能会很“胖”,表明预测因子和观测相关;或者数据可能会很“高”,表明观测与预测因子相关。

 

通常我们得到yx的数据后我们想要找到一个“良好”的预测方式给出一个新的xy应该得多少。这里“良好”的意思表示最大限度的缩小一些损失函数的值,比如残差的平方和或者残差的绝对平均值等。当然啦,这些对应的损失是由这些新来的x所带来的,而不是之前那些为了做回归用到的x产生的。

 

面对这类问题的时候,经济学家通常一下就会想到用线性或者逻辑回归来解决问题。但是如果是拥有大量数据的情况下,相比上面的两个工具也许会有更好的解决方法,比如一些非线性方法1)分类回归树(CART),2)随机森林以及3)一些带有惩罚性质的回归方法比如LASSO,LARS以及弹性网路回归。当然还有一些其他的方法,比如神经网路,深度学习以及支持向量模型,不过本文中不会提及。这些方法都可以从一些机器学习的文章或者书籍中找到,这里推荐Hastie等在2009年的论文(搜索 Hastie et al. [2009],在原文的参考文献中可找到,免费下载,这里不提及)。

这篇关于大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/621234

相关文章

Spring 请求之传递 JSON 数据的操作方法

《Spring请求之传递JSON数据的操作方法》JSON就是一种数据格式,有自己的格式和语法,使用文本表示一个对象或数组的信息,因此JSON本质是字符串,主要负责在不同的语言中数据传递和交换,这... 目录jsON 概念JSON 语法JSON 的语法JSON 的两种结构JSON 字符串和 Java 对象互转

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

Java中的Lambda表达式及其应用小结

《Java中的Lambda表达式及其应用小结》Java中的Lambda表达式是一项极具创新性的特性,它使得Java代码更加简洁和高效,尤其是在集合操作和并行处理方面,:本文主要介绍Java中的La... 目录前言1. 什么是Lambda表达式?2. Lambda表达式的基本语法例子1:最简单的Lambda表

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Java程序进程起来了但是不打印日志的原因分析

《Java程序进程起来了但是不打印日志的原因分析》:本文主要介绍Java程序进程起来了但是不打印日志的原因分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java程序进程起来了但是不打印日志的原因1、日志配置问题2、日志文件权限问题3、日志文件路径问题4、程序

MySql match against工具详细用法

《MySqlmatchagainst工具详细用法》在MySQL中,MATCH……AGAINST是全文索引(Full-Textindex)的查询语法,它允许你对文本进行高效的全文搜素,支持自然语言搜... 目录一、全文索引的基本概念二、创建全文索引三、自然语言搜索四、布尔搜索五、相关性排序六、全文索引的限制七

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

Java Optional的使用技巧与最佳实践

《JavaOptional的使用技巧与最佳实践》在Java中,Optional是用于优雅处理null的容器类,其核心目标是显式提醒开发者处理空值场景,避免NullPointerExce... 目录一、Optional 的核心用途二、使用技巧与最佳实践三、常见误区与反模式四、替代方案与扩展五、总结在 Java

基于Java实现回调监听工具类

《基于Java实现回调监听工具类》这篇文章主要为大家详细介绍了如何基于Java实现一个回调监听工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录监听接口类 Listenable实际用法打印结果首先,会用到 函数式接口 Consumer, 通过这个可以解耦回调方法,下面先写一个