大数据测试新手问答随笔

2024-03-26 10:38

本文主要是介绍大数据测试新手问答随笔,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    近二年随着大数据的兴起,越来越多的行业开始使用大数据去预测用户行为,分析用户动作,为公司产品带来市场竞争力,随之而来的就是各种各样的大数据软件,大数据工具,以及大数据界面.

     需求的兴起肯定引来资本的流入,同样的IT行业理所当然的成为了大数据战场的最前线,而咱们测试面对的就是一个不大不小的难题了,大数据怎么测试?

      因最近有不少朋友新接触,往往上来就是一顿批头盖脸的狂问,大数据是什么,我该怎么测试。


  1.大数据是什么.

   大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管      理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

     简而言之就是: 将大批量的数据通过条件清洗出符合条件的数据,然后将之应用到场景服务.

     它有哪些场景服务呢?    

     有这些:

    客户群体细分,然后为每个群体量定制特别的服务。
    模拟现实环境,发掘新的需求同时提高投资的回报率。
    加强部门联系,提高整条管理链条和产业链条的效率。
    降低服务成本,发现隐藏线索进行产品和服务的创新

 

   与之相关的大数据资料网上一搜一大把,我就不累述了

  

2.我该怎么测试

   A.了解需求

    测试之前看需求,知道自己将要面对什么情况

   B.确定业务核心

    知道开发将会开发哪些模块,这些模块是干什么用的,它们之间是什么关系,之后的数据会以什么形式在它们之间流通

   C.熟悉数据

    知道会有哪些类型的数据进行传输,以什么方式进行传输,是否会出现脏数据

   D.测试

    涉及接口/etl(数据拉取,存在不同的工具)/shell脚本(定时脚本少部分在使用)/spark(实时是目前最流行的)

   E.方法

     进行大数据测试实际涉及的东西比较多,偏白盒,原理需要掌握才能做好这项测试,我推荐学习这个方法



欢迎经过思考,有想法的童靴多多找我讨论.


WX : soy0209

      不甚欢迎!!!

   也欢迎朋友指出文中不正之处.

    


   

     

这篇关于大数据测试新手问答随笔的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/848227

相关文章

wireshark安装及抓包新手使用教程

Wireshark是非常流行的网络封包分析软件,可以截取各种网络数据包,并显示数据包详细信息。常用于开发测试过程各种问题定位。本文主要内容包括:   1、Wireshark软件下载和安装以及Wireshark主界面介绍。   2、WireShark简单抓包示例。通过该例子学会怎么抓包以及如何简单查看分析数据包内容。   3、Wireshark过滤器使用。过滤器包含两种类型,一种是抓包过滤器,

Linux下新手如何将VIM配置成C++编程环境(可以STL自动补全)

~ 弄拉老半天,终于弄的差不多啦,果然程序员还是需要有点折腾精神啊。 首先你要安装vim,命令:sudo apt-get install vim vim它只是一个编辑器,它不是IDE(比如codeblocks),IDE相当于已经给一个房子装好啦各种东西,你只要使用就行,vim却要自己装各种东西,相当于买了一个毛坯房,自己要给房子装潢。 如何安装g++编译器可以参考我上一篇博文. 1:vi

pdf文件编辑器有哪些?分享适合新手用的5个PDF编辑器(解锁教程)

pdf是一种通用文件格式,也是一种夸操作系统平台的文件格式。 好用的PDF文件编辑器可以让您更改和添加文本、编辑图像、添加图形、签署签名、填写表单数据等。下面整理了关于pdf文件编辑方法介绍,以及一些好用的pdf编辑器,有需要的可以了解下。 一、pdf编辑软件 pdf编辑器1:金舟PDF编辑器——专业的pdf编辑 专业的pdf文件编辑工具,适用于Windows7以上的操作系统。能够完成

【C++】list类:模拟实现(适合新手的手撕list)

提示:在开始模拟实现list前,最好先熟悉下list相关接口: 【C++】容器list常用接口详解-CSDN博客https://blog.csdn.net/2301_80555259/article/details/141756824?spm=1001.2014.3001.5501 目录 一.基本结构  二.构造函数 三.析构函数 四.迭代器的实现  五.const迭代器 六.

jmeter压力测试,通过LLM利用RAG实现知识库问答,NEO4J部署,GraphRAG以知识图谱在查询时增强提示实现更准确的知识库问答(9/7)

前言         这周也是杂七杂八的一天(高情商:我是一块砖,哪里需要往哪里搬),首先是接触了jemter这个压力测试工具,然后帮公司的AIGC项目编写使用手册和问答手册的第一版,并通过这个平台的智能体实现知识库问答的功能展示,以及部分个人扩展和思考(NEO4J创建知识图谱的GraphRAG)。 Jmeter         Jmeter是一个压力测试工具,一开始导师叫我熟悉的时候我还说

Makefile问答之02 预处理器与宏

GCC Makefile中,怎样设定预处理器名称 在 GCC 的 Makefile 中,预处理器(preprocessor)的名称通常是 cpp(C PreProcessor),但在实际的 Makefile 中,我们一般是通过 gcc 命令来调用预处理器,而不是直接调用 cpp。不过,你可以通过设置 CPP 变量来显式指定预处理器名称和选项。以下是如何在 Makefile 中进行设置和使用的

一键部署Phi 3.5 mini+vision!多模态阅读基准数据集MRR-Benchmark上线,含550个问答对

小模型又又又卷起来了!微软开源三连发!一口气发布了 Phi 3.5 针对不同任务的 3 个模型,并在多个基准上超越了其他同类模型。 其中 Phi-3.5-mini-instruct 专为内存或算力受限的设备推出,小参数也能展现出强大的推理能力,代码生成、多语言理解等任务信手拈来。而 Phi-3.5-vision-instruct 则是多模态领域的翘楚,能同时处理文本和视觉信息,图像理解、视频摘要

期权交易中最基本的操作!新手先从期权买入开仓开始!

今天带你了解期权交易中最基本的操作!新手先从期权买入开仓开始!交易期权的第一步是选择一个可信赖的期权交易平台,可以是大型券商提供的交易平台或专业的期权交易所。 新手先从期权买入开仓开始 买入开仓(即建立权利仓),卖出开仓(即建立义务仓)。买入开仓最大亏损不超过开仓时支付的权利金,最大收益,理论上无限;卖出开仓则相反,最大收益不超过开仓时收取的权利金,最大亏损理论上无限。 买入开仓亏损有限,收

从新手到大师:Java并发编程你必须知道的那些事!

文章目录 1 进程和线程的区别?2 如何创建一个线程实例并且运行它?3 Runnable 和 Callable 接口有什么区别?它们是如何使用的?4 方法定义中 synchronized 关键字的含义是什么?静态方法?在一个块之前 ? 1 进程和线程的区别? 进程是独立的执行单元,拥有自己的资源和内存,而线程是在进程内的执行单元,共享进程的资源。线程可以高效地执行任务,但需

【#第三期实战营闯关作业 ## 茴香豆:企业级知识库问答工具】

今天学习了《 茴香豆:企业级知识库问答工具》这一课,对大模型的应用有了更深得认识。以下是记录本课实操过程及截图: 搭建茴香豆虚拟环境: 输入以下命令 ``studio-conda -o internlm-base -t huixiangdou 成功安装虚拟环境截图 安装茴香豆 cd /root 克隆代码仓库 git clone https://github.com/internlm/h