数据科学家和软件工程师如何协同工作?

数据科学家和软件工程师如何协同工作?

李升伟  综述

科学家们喜欢探索未知世界，而工程师则无法容忍未知的存在，对于这样的区别，我们应该有所认识和把握[1]。科学家和工程师都是重要的，是共同发展的伙伴[2]。

数据科学家往往是优秀的数学家，具有广泛的跨学科知识和分析技能，他们应该在所有当前的算法中寻找最适合解决项目困难的那种，并确定这些算法中哪里出了问题。为了加强公司的竞争优势，数据科学家必须与软件程序员（软件工程师）合作。

数据科学家和软件工程师都必须对问题负责，并且必须尝试在自己工作的任何步骤中解决问题；持续的沟通确保在早期阶段就发现可能的差异。在本文中，我们将讨论软件工程师和数据科学家在整个过程中面临的挑战，以及如何改进他们的团队合作以获得最佳结果[3]：

一、软件工程师和数据科学家面临的挑战以及解决这些挑战的方法

数据科学家可以协助软件工程师开发分析和研究能力，通过与数据密切合作来构建更好的代码。数据仓库（data warehouses）和数据湖（data lakes）用户之间的信息交换日益增加，使项目更具适应性，并提供更加可持续的长期利益。数据科学家和软件工程师有两个目标：为消费者改进产品；为企业改善选择。然而，在此过程中，出现了许多挑战，专家们必须合作才能解决这些挑战：

（一）从数据中收获知识

数据科学家可能会发现很难找到各种可以整合到预测模型中的新数据源，而软件开发人员则专注于基于需求的挑战。

解决方案：软件开发人员应该专注于解决方案的实现，其需求是逐步确定的，而数据科学家则专注于更理论化的研究和发现领域。

（二）数据质量不足

数据的低质量归因于数据收集和抽样中产生的错误。数据质量问题也会使得数据科学家们很难确定他们是否在做正确的事情。对于软件开发人员来说，数据质量问题很复杂，因为数据科学家的产品最初是不完整的。值得注意的是，软件工程和数据科学计划都有显著的失败率，高达75%的软件项目失败、87%的数据科学项目从未投入生产。

解决方案：尽管他们是数据的主要消费者，但数据科学家的角色是纠正数据质量方面关注的问题。任务很快交给软件开发人员，然后开发人员开始他的那部分工作。

（三）集成来自多个数据源的数据

通常，数据分散在许多站点，必须集成以进行分析。缺乏文件归档、不一致的模式以及对数据标签的各种替代解释都是导致数据难以理解的因素。

解决方案：由于数据被封装在筒仓中，开发人员和数据科学家的职责是定位和构建密钥，将不同的数据源集成到数据模板中，从而使他们能够学习、增强客户体验。

（四）与软件工程师沟通任务规范

沟通不畅的情况可能会出现在数据科学家和软件开发人员之间的沟通过程中。因为他们有其他职责，软件工程师通常不关心数据科学家的工具。

解决方案：数据科学家应该彻底地描述问题，并请求工程团队的协助，以获得高质量的数据。

二、软件工程师和数据科学家如何协同工作?

随着数据科学家角色的兴起和大数据的扩展，软件工程师和具有广泛数学背景并开始编程的数据科学家之间需要合作。

积极的工作环境和团队合作的小诀窍

当向数据科学家交付生产数据时，可能会发生以下场景：他们可能对数据库的访问权限过少或过广泛。在第一个场景中，他们不断要求访问数据导出；在第二种情况下，他们不断运行影响生产数据库的查询。为了解决这个问题，必须定义一种方法，将所有原始数据从生产环境中传输给数据科学家。基本的概念是，由于我们不知道未来会需要什么数据，我们将所有数据存储在数据科学家可以快速访问的位置。存储空间正是软件开发人员应该设计的。

数据科学家经常使用包含SQL查询的一次性脚本。他们可以将数据从一个脚本复制到另一个脚本，以用于下一个任务。每周留出时间来处理这样的数据库是一种方法，因为数据科学家将逐渐意识到他们需要经常进行哪些转换。软件工程师可以协助创建数据库，他们可以检查新编写的代码，并发现向数据分析工具箱添加新特性的机会。

在线注册最好的数据科学课程，了解最新的分析工具，如R、Python、Hadoop、MATLAB[4]等。通过在线学习的便利，您可以通过现实世界的项目和案例研究来享受行业认可和实用的学习。

数据科学家的工作催生了从原始数据中收集信息的算法；软件工程师会调整算法，使其比以前更好、更符合企业目标。数据科学方法的持续评估程序是基本而重要的，该程序必须包含在产品中；软件工程师的意图是利用他大规模的系统开发技能，而数据科学家则通过适当的问题表述指导工程师。这样的工作模式将提供一个极好的合作机会。

处理数据须遵循GIGO原则（无用输入/无用输出，Garbage-In-Garbage-Out）：如果数据科学家处理的是可能不准确的数据，即使是最先进的分析算法也会给出错误的结论。这个问题可以由软件工程师搞定，他们创建了处理、过滤和转换数据的流水线，使数据科学家处理的是高质量的数据。

数据科学家通过与工程师密切合作，专注于研究，创造新的机器学习技术；而软件工程师还必须优先考虑可扩展性和数据重用，并确保每个工作的输入和输出流水线与总体设计一致。

三、结 论

软件工程师与数据科学家的合作有助于创新产品的开发。速度和质量是通过在为每个人提供服务和满足每个需求或项目之间取得平衡来实现的。数据科学家和软件工程师相辅相成，在企业中形成数据分析系统，努力创造数据工作的氛围，并在其平台上建立业务运营。

如果编程是你的专长，并且你想在数据科学领域工作，那么数据科学在线课程可以帮助你快速进入职业生涯。各种数据科学在线课程是为新手和在职软件工程师设计的，在这里，你可以从事有实际问题的项目，获得实际数据的实践经验、按需技能和工具，获得教师指导的在线课程。

总之，科学家们喜欢探索未知世界，而工程师则无法容忍未知的存在，对于这样的区别，我们应该有所认识和把握。基础科学家们似乎对于那些具有模糊性和未知的东西不仅习以为常，而且还乐此不疲。相反，那些应用工程师们则将他们的工作建筑于已知的知识和确定性之上，并且对于这些知识和确定性充满了期待[1]。

参考文献：

1.李升伟.科学家与工程师有何不同?[J].世界科学,2010(11):30-31.

2.张光斗.科学家和工程师是共同发展的伙伴[J].科技进步与对策,2004(02):1

3.How can software engineers and data scientists work together? - Big Data Analytics News  How can software engineers and data scientists work together? - Big Data Analytics News

4.杨建锋.MATLAB:科学家与工程师的语言[J].百科知识,1999(06):24-25.