大数据的理解,大数据是什么,大数据能干什么?

2024-06-07 19:08
文章标签 数据 理解 干什么

本文主要是介绍大数据的理解,大数据是什么,大数据能干什么?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、概念: · 一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 大数据的本质就是一大堆结构化的和非结构化的数据。因为数据量太大,你没办法使用,你需要从中抓取出有价值的内容或你想要的数据,这就是大数据应用。 老程序都知道,我们做企业级的项目(数据库项目)时,都会有数据的存储,而且会做出很多图表,为决策者进行科学地决策提供了客观依据,为每个工作者从数据中发现问题,做进一步改进提供了依据,当然也有即时变动的数据展示位动态图表。 1)、超市管理系统,也会把每年的数据进行汇总,对比每个月的销量,以了解淡旺季,帮助做下一步的应对策略;把不同类型的商品进行汇总,对比哪个商品卖得多,哪个商品收益高;哪个商品在哪个时间段卖得快等等。当然,如果有会员的话,甚至可以统计出不同年龄段,不同性别的不同喜好等等。 2)、石油行业的进销存系统,会统计哪个加油站的销量好,哪种型号的销量好。 3)、在HIS(医院信息管理)系统里,会统计哪个科室的患者多,哪个医生的挂号量大,哪个医疗设备的使用频度高,哪个病种多,甚至哪个年龄段得哪种类型病的数量多,甚至哪个地区的人患哪种病的概率高。在很多研究型医院里,还可以通过大量数据得出什么类型的细菌是导致某种病的主因等等。 随着时间的推移,数据的积累,随着社会节奏的变化,使用信息化系统的人越来越多,数据积累的速度越来越快,数据也越来越庞大。当规模大到在获取数据,存储数据,管理数据,分析数据方面大大超过了传统数据库软件工具能力范围的数据集合,并且数据的价值越来越大,针对数据的处理就需要专门的企业或者人员来完成,这就是现在大数据(当然,大数据的内涵远远不是这一两句话能够说清楚的)。 你可以简单理解为:以前那是小数据,现在是大数据,哈哈! 从技术层面说,大数据和以前的数据时代("小数据")的最大差异在于: 以前是数据找应用、算法的过程,偏重于用抽样推测全局,从抽样数据中分析,没有采集到的样本所对应的相关规律。 而大数据时代的重要技术特征之一,是应用、算法去找数据的过程,因为数据规模变成了技术上最大的挑战,我们更关注每一个个体的微观表现 二、应用场景举例: 应用场景能够体现出大数据的价值 我的博客中也有一些关于大数据应用场景的故事: https://blog.csdn.net/jiang7701037/article/details/81041692 1)、超市管理系统: 除了传统的数据汇总对比外,现在还需要对数据做进一步的挖掘,如:根据大量的数据能够的得出 (啤酒与尿布的故事)买了某种商品的人同时还会买另外一种商品,这样超市就会尽量把这两种商品的摆放位置靠近,以方便客户进行购买(这是为了商场商品摆放提供了依据) 电子商务平台上更是对数据的汇总更加有说服力,比如:淘宝,这个平台“太可怕”了,他可以统计出南北方地区不同省份人群的特点,比如:不同省份人员的网购量,哪个性别,哪个年龄段购买最多,甚至根据衣服的尺码都知道哪个省份人员的身高情况,那个人省份人员喜欢什么颜色的衣服,噢,还有内衣,根据内衣,你都知道哪个省份女性的罩杯大小…… 你在京东买了奶瓶又搜索过奶粉,那京东的大数据就预测到你可能有小宝宝了,接下来一大堆和婴儿有关的东西都推荐给你。你可能说这就是大数据啊,也太简单了。其实如果京东仅服务你一个人,那简单,但是京东对几亿用户(大数据)都能做这个推广,就不简单。 这是商业公司对消费者日常的购买行为和使用商品习惯进行汇总和分析,了解到消费者的需求,从而改进已有商品并适时推出新的、消费者很可能会满意的商品的体现 2)、石油行业的进销存系统,著名的“魔镜”预知石油市场走向,“魔镜”帮助中石等企业分析数据,将数据可视化,使企业科学的判断、决策,节约成本,合理配置资源,提高了收益。 3)、在HIS(医院信息管理)系统里特别是医学研究上。 大数据改变医学诊断手段 大数据分析为许多医学难题的解决提供了新途径,改变了一些疾病诊断方式。大数据可以挖掘出大量以往的相似疾病案例,通过分析这些诊断数据,对疑难杂症进行快速判别。如,在心脏病的诊断过程中,首先采集心脏数据并转化为心脏图谱,然后根据图谱进行建模,模型中的变量包括压力、张力、僵硬度等,最后根据这个模型分析心脏疾病病情,并作出相应的诊疗方案。此外,还可以利用图像处理技术,将心脏数据建模成为一个虚拟实体,通过设置不同的参数,模拟观察各类手术或者药物对心脏机能造成的影响,从而在诊疗之前就对诊疗后心脏疾病可能的走势做出预测,为获取疾病诊治方法提供了手段。 大数据可预测病情的扩散趋势 当流行病发生时,可以对疾病已有的扩散趋势和感染人数进行建模,对每一个时间节点的数据进行分析处理,从而对流行病进行统计研究,预测病情的扩散趋势,为疾病防治提供参考。同时,当下一次疫情发生时,可以调出往年数据进行分析,了解规律,从而有望抑制病情的进一步扩张。 …… 疾病预防、临床应用、互联网医疗等等 4)、做搜索引擎的百度和谷歌更是可怕,他保存着所有互联网用户搜索的关键词。用户搜索的关键词就代表着他所关心的话题,如:最近搜索it的培训的比较多,说明了什么,最近搜索web前端培训的比较多说明了什么,最近搜索如何预防流感,得了流感怎么办,怎么才能知道自己得了流感等等,这说明了流感的季节到来,担心的流感的人很多,还有可能得到的流感的人数占比和速度…… 5)、交通: 实时路况给人们出行选择带来的方便。交通拥堵的原因分析,并结合车辆购买的增长情况,决定修路的节奏把握(如:什么路段需要修路,什么路段需要优先修路,要不要单行等等),根据大数据的全样本体现的高峰期更有说服力,并制定一系列的对策等等。 三、大数据能做什么? 预测,决策,为机器学习和人工智能提供支撑 预测从古代就做了,但是大数据做预测的核心是全样本,多个维度的全样本,交叉确认,人会说谎,在社交场合会隐藏部分内心,但这部分内心在日积月累的互联网上总有丝竹马迹会留下来,所以,越来越多的数据模型和数据会给出无限接近感知的结果。也就是可以让计算机具有学习能力,机器学习就是设计一个一些让计算机可以自动学习的算法,人工智能的核心是什么?归根到底是“计算机用大数据在代替人脑来思考;计算机可能比人脑思考的更全面和迅速 当然大数据的应用,不是一篇文章,简单举个例子就能说明白的,现在是数据为王的时代,我们现在才真正开始体会“数据最有说服力"的魅力所在,我认为,数据的作用待开发的地方太多了,数据的作用,未来不可限量,没法预测,也不敢预测,只能期待。我想未来大量的数据真的是一件“可怕”的事情,人类还需要把这些数据应用在生产上,否则,会带来灾难性的结果。 --------------------- 本文来自 田江 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/jiang7701037/article/details/81042454?utm_source=copy

这篇关于大数据的理解,大数据是什么,大数据能干什么?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040044

相关文章

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用

Mysql如何将数据按照年月分组的统计

《Mysql如何将数据按照年月分组的统计》:本文主要介绍Mysql如何将数据按照年月分组的统计方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql将数据按照年月分组的统计要的效果方案总结Mysql将数据按照年月分组的统计要的效果方案① 使用 DA

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt