关于数据科学,书上不曾提及的三点经验

2024-02-02 15:18

本文主要是介绍关于数据科学,书上不曾提及的三点经验,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!



关于数据科学,书上不曾提及的三点经验

发表于 2015-09-10 23:33| 445次阅读| 来源 Mikio L. Braun Blog| 0 条评论| 作者 Mikio L. Braun
大数据 分布式计算 机器学习 深度学习 特征提取
width="22" height="16" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%2Fwww.csdn.net%2Farticle%2F2015-09-10%2F2825668&type=3&count=&appkey=&title=%E5%85%B3%E4%BA%8E%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%EF%BC%8C%E4%B9%A6%E4%B8%8A%E5%BE%88%E5%B0%91%E6%8F%90%E5%8F%8A%E7%9A%84%E4%B8%89%E7%82%B9%E7%BB%8F%E9%AA%8C%EF%BC%9A%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BB%B7%E6%96%B9%E6%B3%95%E6%98%AF%E5%85%B3%E9%94%AE%EF%BC%8C%E7%89%B9%E5%BE%81%E6%8F%90%E5%8F%96%E6%98%AF%E6%A0%B9%E6%9C%AC%EF%BC%8C%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9%E8%80%8C%E9%9D%9E%E6%95%B0%E6%8D%AE%E9%9B%86%E8%A7%84%E6%A8%A1%E6%9C%80%E8%B4%B9%E6%97%B6%E9%97%B4%E3%80%82&pic=&ralateUid=&language=zh_cn&rnd=1442237263156" frameborder="0" scrolling="no" allowtransparency="true"> 摘要:关于数据科学,书上很少提及的三点经验:模型评价方法是关键,特征提取是根本,模型选择而非数据集规模最费时间。

【编者按】本文作者指出了关于数据科学书上很少提及的三点经验:模型评价方法是关键,特征提取是根本,模型选择而非数据集规模最费时间。文章指出,处理上万维的特征和几十万的样本的现代算法是愚蠢的,而特征工程理论还不完善,更像是一门艺术。

这是数据科学大行其道的时代。各类课程、博客、培训学校如雨后春笋般出现。然而,每次我浏览这些学习资料时,我发现它们过于强调一些具体的算法。理解逻辑回归或者深度学习的原理当然很酷,可是一旦从事数据相关工作,你会发现还有其它一些同样重要的事情,甚至更为重要的。

我真不应该去责备这些课程。我在大学任教机器学习课程很多年了,课堂上主要是讲解具体算法。你掌握了支持向量机(SVM)、高斯混合模型(GMM)、k均值(k-Means)聚类等算法的细枝末节,但是直到写硕士论文的时候才学会如何正确地处理数据。

那么何谓正确?最终结果难道不能验证处理方法吗?得到出色的预测效果是否意味着一切顺利呢?显然没错,但关键是确保算法在未来数据上仍旧得到出色的效果。我在别处也写过,如果仅凭着训练数据的表现就轻信自己的算法,实在是太自欺欺人了。

那么下面是我的三个主要见解,其它书本里很少提及。

1、评价方法是关键

数据分析/机器学习/数据科学(或者无论你如何称呼它)的主要目标就是搭建一套系统并且将来在测试数据上效果好。监督式学习(例如分类)和非监督式学习(例如聚类)的差异导致很难笼统地解释它,但无非都是你收集一个数据集合,在其之上搭建系统和设计算法。但最终你需要将这种算法应用于未来的数据,同时希望确保在新数据上的表现和在原始数据集上的表现几乎一样好。

初学者常犯的错误就是仅仅关注手头数据集上的表现效果,然后认为在未来数据上同样奏效。不幸的是这种情况非常稀罕。我们暂且以监督式学习为例,它的目标是根据你的输入预测输出结果,比如把邮件分为垃圾邮件和正常邮件两类。

如果你只考虑训练集数据,那么机器很容易记住整个训练集,然后返回完美的测试结果(除非数据自相矛盾)。事实上,对人来说这种情况也很正常。还记得你在学外语背单词的时候,总是把单词顺序打乱来测试吗?因为否则大脑就会凭着之前单词的顺序来回忆。

机器凭借它们存储和读取大量数据的强大能力,轻而易举地完成同类的任务。这就造成过拟合现象,还缺乏泛化能力。

因此合适的评价方法是模拟有未来数据的场景,把数据集一分为二,一部分做训练集,然后在另一部分测试集数据上做预测。通常,训练集被分得大一些,这个过程也会重复很多遍以得到一系列测试结果,来观察算法的稳定性。这整个过程就称为交叉验证。


为了模拟在未来数据上的性能,,你需要把现有的数据一分为二,一份用来训练模型,另一份仅用于模型评估。

然而,差错还是会时常发生,尤其当数据集是非静态的,也就是说,数据的分布随着时间而发生变化。现实世界的数据往往如此。一月份的销售图表和六月份的看上去会迥然不同。

或者数据点之间相关性很高,就是说若你知道一个数据点,那另一个样本数据的信息也八九不离十了。打个比方,拿股票价格来说,天与天的波动并不剧烈,那么以天为单位随机切分训练/测试数据集会导致训练集和测试集的数据高度相关。

上述情况一旦发生了,你就会得到过度优化的结果,而这个算法在真实测试数据上的表现并不尽如人意。在最坏的情况下,你费尽精力说服别人采用你的算法,而算法却失效了,因此学会正确地评估模型是关键!

2、特征提取是根本

学习一种新算法令人激动,可事实上大多数复杂算法的效果大同小异,真正造成差异的是原始数据如何转化为用以学习的特征这个步骤。

现代学习算法十分强大,处理上万维的特征和几十万的样本都是小菜一碟,然而事实却是这些算法最后来看都是愚蠢的。尤其是那些学习线性模型的算法(如逻辑回归,线性支持向量机)简直和计算器一般简陋。

它们从足够的数据样本里鉴别出有效信息的本领很强大,但如果有效信息并不被包含其中,或者不能用输入特征的线性组合所表示,它们就没有了用武之地。它们本身也无法通过“洞察”数据来完成数据精简这一环节。

换句话说,如果找到合适的特征,数据量就能被大大缩减。理想情况下,如果把所有特征缩减到只剩下你想预测的方程,那就没什么可学习的了,对吧?这就是特征提取的强大之处!

需要提醒两点:首先,你必须确保完全理解这些等价算法中的一种,然后就可以一直用下去了。因此你并不真的需要逻辑回归加上线性SVM,选一种就够了。这还包括明白哪些算法几乎是等价的,使用这些模型的关键点在哪里。深度学习有些区别,但是各种线性模型的表达能力几乎一样。尽管,训练时间、解的稀疏性等会有差别,但大多数情况下它们的预测能力是相近的。

其次,你必须完全掌握特征工程。不幸的是,这更像是一门艺术,而且因为理论不完善书本里很少提及。特征值归一化是一条捷径。有时候,特征值需要取对数计算。若是能够降低一部分自由度,也就是说去掉数据中对预测结果没影响的那部分变量,你所需要训练的数据量将会大大降低。

有时候这些转换很容易被发现。例如,如果你要做手写字符识别,只要有前景和背景的区分,那么字符的颜色对识别显然是不重要的。

我知道课本总是推销一些看起来很强大的算法,似乎只要你把数据扔给它们就万事大吉了。从理论观点和无穷的数据来源角度来说,这也许是正确的。但现实中,数据和我们的时间是有限的,寻找高信息量的特征绝对是至关重要的。

3、时间瓶颈模型选择,而非数据集规模

这是个在大数据时代你不愿大肆提及的事物,可是大多数数据集都能被完全加载到主存里。你的算法同样可能也不需要消耗太多时间计算。但你需要花费大量时间从原始数据中提取特征,通过交叉验证来比较不同特征提取方法和不同算法参数的效果差异。


在选择模型时,你尝试无数次各种参数的组合,并在相同的数据集上评价效果差异。

问题归根结底在于组合项的爆发式增长。假设现在只有两个参数,并且训练模型和在测试集上评价效果(按照上述正确的评价方式)需要大约一分钟时间。如果每个参数有5个候选值,采取5折交叉验证(把数据集分成5份,重复训练测试过程5次,每次用不同的一份数据作为测试集),这意味着你需要125轮计算来确定哪种算法效果最好,你的等待时间也将是大约2小时而不是1分钟。

一个好消息是上述过程很容易并行化,因为每轮计算都是相互独立的。特征提取也是如此,通常也是对每个数据集独立地进行相同操作(解析、提取、转换等),导致了所谓的“密集并行”(没错,这是个专业术语)。

一个坏消息主要针对大数据而言,因为所有的这些意味着对大规模实现复杂算法的需求很少,然而多数情况下目前用非分布式算法并行计算内存中的数据已经很有帮助了。

当然,也存在一些应用,比如针对广告优化的TB级日志的全局模型和百万用户级推荐系统,但常规的使用案例都是这里罗列的那些类型。

最后,拥有大量数据也不意味着你真的需要这么多。关键在于学习过程的复杂度。如果问题用简单的模型可以解决,就不要用过多的数据来训练模型参数。那样的话,随机抽样数据集的一部分就足够用了。另外如我在上文中提到的那样,有时候准确的特征表达也能大幅度削减需要的数据量。

总结

总之,知道如何正确评价结果能降低算法在未来测试数据上失败的风险。特征提取准确也许是提升效果的最佳途径,最后,大数据并不总是需要,尽管分布式计算能帮助减少训练时间。

这篇关于关于数据科学,书上不曾提及的三点经验的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/671129

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据,可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法,结合实例进行讲解,希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者