构建端到端数据科学项目,从我的Data Scientist Ideal Profiles项目中学习(附链接)...

本文主要是介绍构建端到端数据科学项目,从我的Data Scientist Ideal Profiles项目中学习(附链接)...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

翻译:张睿毅;校对:吴金笛

本文约1500字,建议阅读5分钟。

本文为你介绍了构建数据科学项目中重要的思维能力及训练建议。

Joseph Barrientos 拍照于 Unsplash

(链接:https://unsplash.com/photos/Ji_G7Bu1MoM?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText )

人们常说,数据科学家的主要工作不是实际的分析和建模,而是数据的整理和清理部分。因此,涉及这些阶段的全周期数据科学项目将更有价值,因为它们证明了作者独立处理真实数据的能力,而不是使用给定的干净数据集。

完全理解端到端数据科学项目的价值,我一直想建立一个,但直到现在还不能建立。

我最近完成了我的Ideal Profiles项目(链接:https://towardsdatascience.com/what-does-an-ideal-data-scientists-profile-look-like-7d7bd78ff7ab )。因为这是一个涉及许多运动部件的重大项目,所以我想记录过程和经验教训,这是一个进一步的学习机会(受到威廉·科赫森(链接:https://medium.com/@williamkoehrsen )关于数据科学写作价值的伟大文章的启发)。

各阶段

我认为,全周期数据科学项目应包括以下几个阶段:

 

Kaggle项目上工作的最大的争论是它只专注于第二阶段。因此,在这个项目中,我将确保涵盖所有三个阶段。

在第一阶段,我做了网络抓取来获取数据,由于数据是脏的,所以我不得不整理数据进行分析。然后我做了各种数据可视化,并在第二阶段进行了分析。最后,我写了一些文章来发表结果并将这个项目投入生产。

当然,我可以通过包含一个机器学习组件使这个项目更加完整,例如,使用自然语言处理根据内容对工作岗位进行分类,但这将显著延迟项目完成时间,这将使我们进入下一个阶段:

迭代思维

对于一个给定的项目,可能有无限多的事情要处理,但实际上,我们只有的时间。为了协调这两个竞争因素,我们需要有纪律。

对我来说,“迭代思维”确实有帮助 —— 看,罗马不是一天建成的,所以让我们先构造一些有用的东西,然后将其交付,然后我们总是可以回来改进更多的特征。另一方面,这也意味着我们需要能够处理“不完美”,而不是专注于细节。

考虑到这一理念,我能够延迟一些非常诱人的特征,并将它们放在项目文档的待办事项部分(链接:https://github.com/georgeliu1998/ideal_profiles#to-dos )。其中之一是使用更大的来自美国而不是加拿大的网站上的数据集。

模块化

鉴于项目的端到端的特性,我们有很多不同方面的工作:网络抓取,数据预处理,绘图……如果我们把所有的代码在一个Jupyter Notebook,它会过于大且复杂而不能处理。于是我决定使用Python脚本和一个中心Jupyter Notebook解决这个问题。

我将支持函数分为三大类,并将它们封装在三个相应的脚本中:

  • scrape_data.py-包含Web抓取所需的函数,如“get_soup()”“get_urls()”

  • process_text.py-包含文本处理和清除函数,如“tokenize_text()”“check_freq()”

  • helper.py-包含文件输入输出和绘图函数,例如“plot_skill()”

这样,我就可以保持一个超轻且有组织的中心Notebook。然后根据需要从Notebook中导入和调用函数,如下所示:

from scrape_data import *

from process_text import *

from helper import *

复制性

由于我在网上发现的许多抓取脚本都不起作用,我决定确保我的项目是可复制的。除了可靠的代码之外,一个健壮的README文件和一个完整的环境依赖文件也是解决方案的一部分。

  • readme.md-我努力确保捕获所有相关细节,特别是如何设置环境和如何使用脚本。

  • env_Ideal_profiles.yaml-通过将所有依赖项冻结到此文件中,我确保用户可以完全重新创建我使用的同一Anaconda python环境。此处提供更多信息(链接:https://conda.io/docs/user-guide/tasks/manage-environments.html )。

代码最优练习

良好的编码实践很重要!特别是,我发现以下实践在编写更大更复杂的项目时非常有用:

  • 具有有意义的描述性变量/函数名

  • 提供详细和结构化的文档字符串(链接:https://stackoverflow.com/questions/3898572/what-is-the-standard-python-docstring-format)

  • 确保使用python“try except”块处理异常

当你的项目是一个30行的Jupyter Notebook时,这些事情可能看起来微不足道,但是当你处理一个需要数百行代码的主要项目时,这些事情可能真的很关键!

厉害了Matplotlib

我过去只对基本的Matplotlib技巧感到舒服。然而,对于这个项目,我不仅需要将几个图组合成一个,而且还必须进行详细的自定义,例如旋转轴标记标签……在这一点上,基本的Matplotlib技能将不再足够。

 

事实证明这是一个学习Matplotlib的好机会。一旦我知道它能做什么,我发现它不可能回头,仅仅是因为matplotlib真的很强大!它的面向对象方法允许您修改几乎所有内容…请查看以下教程以了解:

  • Matplotlib教程:Python绘图

    (链接:https://www.datacamp.com/community/

    tutorials/matplotlib-tutorial-python )

  • 高效利用Matplotlib

    (链接:http://pbpython.com/effective-

    matplotlib.html )

  • 使用Matplotlib绘制Python(指南)

    (链接:https://realpython.com/blog/python/

    python-matplotlib-guide/ )

谢谢你的阅读!

原文链接:

https://towardsdatascience.com/building-an-end-to-end-data-science-project-28e853c0cae3 

译者简介:张睿毅,北京邮电大学大二物联网在读。我是一个爱自由的人。在邮电大学读第一年书我就四处跑去蹭课,折腾整一年惊觉,与其在当下焦虑,不如在前辈中沉淀。

本文转自:数据派THU ;获授权;

END

合作请加QQ:365242293  

数据分析(ID : ecshujufenxi )互联网科技与数据圈自己的微信,也是WeMedia自媒体联盟成员之一,WeMedia联盟覆盖5000万人群。

这篇关于构建端到端数据科学项目,从我的Data Scientist Ideal Profiles项目中学习(附链接)...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/943286

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06