【Tableau系列第(6)篇】使用Tableau Prep进行数据清理、整合(一)

2024-06-20 22:28

本文主要是介绍【Tableau系列第(6)篇】使用Tableau Prep进行数据清理、整合(一),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用Tableau Prep的整体过程详见:【Tableau系列第(5)篇】用Tableau Prep整理数据全流程初体验

本篇一步一步跟我一起来熟悉更多的Tableau Prep数据清理、整合的操作

示例excel数据源链接: https://pan.baidu.com/s/17nx3_LPe30oK1l1JsC6Kdw?pwd=AQWF 提取码: AQWF

合并多个表(比如不同时间段的数据)

新建连接-文本文件(.csv文件),orders_south_2015,2016,2017,2018在同一个文件夹下,所以,点击“表”,可以看到这四个文件,选择合并多个表,点应用;

添加更多个输入

Orders_East.xlsx

Orders_West.csv

Orders_Central.csv

清理订单数据

创建计算字段

点击Orders_Central,这个 数据集中没有“Region”字段,而其他数据集中有,所以,要增加这一字段,方面后续分析;

新建标志性字段

字段值输入:Region,字段值:"Central",然后保存;

合并字段

Orders_Central这个数据集中,订单年份、月、日是3个单独的字段,需要把它们合并成一个字段Order Date,格式为"MM/DD/YYYY",赋值:MAKEDATE([Order Year],[Order Month],[Order Day])

移除字段

需要移除订单年份、月、日是3个单独的字段,在搜索框中输入Order,按住Ctrl多选Order Year,Order Month,Order Day,右键——移除;

类似的,Orders_Central这个数据集中,发货年份、月、日也是3个单独的字段,需要把它们合并成一个字段Ship Date,格式为"MM/DD/YYYY",赋值:MAKEDATE([Ship Year],[Ship Month],[Ship Day])

修改字段类型

Orders_Central这个数据集中,系统给Discounts折扣字段分配的数据类型有问题,它应该是数字类型,但是系统分配的是字符串类型,这是为什么呢,原来,无折扣的情况,字段值是“None”;

直接双击None,把None改为0,按回车键完成;

再去修改Discounts的数据类型,如下图,左键单击“Abc”,选择“数字(小数)”;

在金额字段里移除货币符号

给Orders_East新增一个清理步骤,查看字段,会发现销售额“Sales”字段值中包含了货币符号,Tableau Prep将这个字段解读为了字符串类型;

下面,来快速移除所有字段值中的货币符号,点“…”-清理-移除字母:

然后将Sales的数据类型修改为数字。

添加字段值-映射原始字段值

给Orders_West新增一个清理步骤,查看字段会发现State字段值使用了缩写,如果要和其他文件合并,需要修改为完整的拼写;

点“…”-将值分组-手动选择;

双击AZ,修改为Arizona,这样就把AZ映射到了新值Arizona;

重复这个步骤,完成11个州的修改,然后点击完成;

合并数据

将“重命名State值”拖动到“更改数据类型”步骤(放在“并集”上)

将“清理日期和修改字段”拖到上面创建的并集步骤(放在“添加”上);

同样的,将orders_south输入步骤 拖动到并集步骤(放在“添加”上);

Tableau Prep会自动匹配具有相同名称和类型的字段;

还会发现,新增了一个Table Names(表名称)字段,表示该行数据来自于哪个表;

检查不匹配的字段Discount和Discounts,原来是因为字段名不同,那就可以把它们合并;

选择Discount字段,拖动到Discounts字段上进行合并;

类似的,将Product和Product Name合并;

完成了数据合并,将步骤“并集1”重命名为“所有订单”。

拆分字段值

完成了订单清理和合并,接下来处理退货数据,发现数据有一点杂乱;

新建连接,选择“Microsoft Excel”,选择return_reasons_new.xlsx

新增一个清理步骤,观察Notes(注释)的取值,发现里面包含了审批者,可以把这个信息单独拎出来,放在另一个字段中更好的利用;

首先移除额外的空格:

然后拆分注释和审批者,由于这个数据有明显的分隔符,所以可以选“自动拆分”,当然也可以手动拆分;

拆分后,双击字段给字段重命名为Return Notes和Approver(审批者)

移除原始的Notes字段:

观察到审批人取值里有点问题,相同的人名好像写法不一样:

发现Tableau Prep把相同人名的不同写法分为了一组,很不错,检查一下,完成;

联接数据

将退货数据和订单数据联结起来,想要联结两个表,它们需要有共同的字段,比如Order ID和Product ID,将退货清理步骤拖动到所有订单,放在“联接”上;

添加“联接子句”

内部联接”,仅包括两个文件中都存在的值,没有匹配退货的订单数据被排除;

需要改为“左”联接,数据要包括“所有订单”合并步骤中所有数据、以及“退货订单(清理注释)”中的匹配数据;

清理联接结果

移除多余字段

将字段Order ID-1重命名为Order ID;

添加一个值为"Yes"和"No"的字段来表示是否已退货;

创建计算字段 Return?

赋值If ISNULL([Return Reason])=FALSE THEN "Yes" ELSE "No" END

可能为了分析,还想要知道下单到发货间隔天数,

看一下订单日期和发货日期,有点问题:

修正一下:

新建字段“Days to Ship”,赋值为:

DATEDIFF('day',[Order Date],[Ship Date]),完成之后:

处理完之后,可以输出数据。

基本操作见:【Tableau系列第(5)篇】用Tableau Prep整理数据全流程初体验

最后,给你一个完整的Tableau Prep帮助文档,更多的操作问题可以根据需要从中查找答案;

链接: 百度网盘 请输入提取码 提取码: AQWF

这篇关于【Tableau系列第(6)篇】使用Tableau Prep进行数据清理、整合(一)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1079427

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件