2020年里5个必须具备的数据科学技能

2024-06-21 09:08

本文主要是介绍2020年里5个必须具备的数据科学技能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”


作者:Joos Korstanje

编译:ronghuaiyang

导读

长期以来,“R, Python, SQL和机器学习”一直是数据科学家的标准工作描述。但随着该领域的发展,这已不足以在就业市场上保持竞争力。

更新你的技能,为2020年数据就业市场准备!

数据科学是一个竞争激烈的领域,人们正在迅速积累越来越多的技能和经验。这导致了机器学习工程师的工作描述越来越丰富,因此我对2020年的建议是,所有的数据科学家也需要成为开发人员。

为了保持竞争力,你一定要为新工具带来的新工作方式做好准备。

1. 敏捷

敏捷是一种组织工作的方法,已经被开发团队大量使用。数据科学的角色越来越多地由那些最初的技能是纯软件开发的人来扮演,这就产生了机器学习工程师的角色。

越来越多的数据科学家/机器学习工程师被管理为开发人员:不断地改进现有代码库中的机器学习元素。

对于这种类型的角色,数据科学家必须了解基于Scrum方法的敏捷工作方式。它为不同的人定义了几个角色,这个角色定义确保了持续的改进和顺利地实现。

2. Github

Git和Github是为开发人员提供的软件,在管理不同版本的软件时非常有用。它们跟踪对代码库所做的所有更改,此外,当多个开发人员在同一时间对同一项目进行更改时,它们还为协助提供了真正的便利。

随着数据科学家的角色变得越来越偏重于开发,使用这些开发工具就成为了关键。Git正在成为一种重要的工作需求,要适应使用Git的最佳实践需要一定的时间。当你独自一人或与他人合作时,很容易开始使用Git,但是当你加入一个有Git专家的团队,而你仍然是一个新手时,你可能会比想象的更加困难。

3. 工业化

数据科学也在改变的是我们思考项目的方式。数据科学家仍然是用机器学习回答业务问题的人,一如既往。但是,越来越多的数据科学项目是为生产系统开发的,例如作为大型软件中的微服务。

与此同时,高级模型的CPU和RAM消耗越来越大,特别是在处理神经网络和深度学习时。

对于数据科学家的工作描述,不仅要考虑模型的准确性,还要考虑项目的执行时间或其他工业化方面,这一点变得越来越重要。

4. 云和大数据

虽然机器学习的工业化正成为数据科学家的一个严重的约束,但它也成为数据工程师和IT的一个严重约束。

当数据科学家可以致力于减少模型所需的时间时,IT人员可以通过改变速度更快的计算服务来做出贡献,这些计算服务通常可以通过以下一种或两种方式获得:

  • 云:将计算资源转移到外部供应商,如AWS、Microsoft Azure或谷歌云,使得建立一个可以从远处访问的非常快速的机器学习环境变得非常容易。这要求数据科学家对云功能有基本的了解,例如:使用远程服务器而不是自己的计算机,或者使用Linux而不是Windows / Mac。

PySpark可以在并行(大数据)系统上编写Python
  • 大数据:更快的第二个方面是使用Hadoop和Spark,这两个工具允许同时在多台计算机(工作节点)上并行处理任务。这要求使用不同的方法来实现数据科学家的模型,因为你的代码必须允许并行执行。

5. 自然语言处理, 神经网络和深度学习

最近,数据科学家仍然认为NLP和图像识别仅仅是数据科学的专门化,并不是所有人都必须掌握。

你需要理解深度学习: 基于人脑思想的机器学习

但是,即使在“常规”业务中,图像分类和NLP的用例也越来越频繁。在当今时代,至少对这些模型没有基本的了解是不可接受的。

即使你在工作中没有此类模型的直接应用,也可以很容易地找到实际操作的项目,并使你能够理解图像和文本项目中所需的步骤。

祝你好运,同时提高你的技能,不要犹豫,保持关注

—END—

英文原文:https://towardsdatascience.com/top-5-must-have-data-science-skills-for-2020-a5a53226b168

请长按或扫描二维码关注本公众号

喜欢的话,请给我个好看吧

这篇关于2020年里5个必须具备的数据科学技能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1080794

相关文章

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.

MySQL使用binlog2sql工具实现在线恢复数据功能

《MySQL使用binlog2sql工具实现在线恢复数据功能》binlog2sql是大众点评开源的一款用于解析MySQLbinlog的工具,根据不同选项,可以得到原始SQL、回滚SQL等,下面我们就来... 目录背景目标步骤准备工作恢复数据结果验证结论背景生产数据库执行 SQL 脚本,一般会经过正规的审批