云端巨擘:大数据与云计算的时代航向

2024-03-14 13:44

本文主要是介绍云端巨擘:大数据与云计算的时代航向,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 大数据时代
    • 大数据特点(4v+1C
    • 大数据与云计算的关系
  • 云计算
    • 云计算定义
    • 云计算特点
    • 云计算分类(服务类型)
    • 云计算实现机制
    • 云计算体系结构
    • 云计算的管理中间件层

大数据时代

  • 大数据定义:海量数据或巨量数据,其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。

大数据特点(4v+1C

  1. 价值密度低(Value):在成本可接受的条件下,通过快速采集、发现和分析,从大量、多种类别的数据中提取价值的体系架构。
  2. 数据量大(Volume):存储的数据量巨大,PB级别是常态,因而对其分析的计算量也大。
  3. 快速(Velocity):数据增长速度快,而且越新的数据价值越大,这就要求对数据的处理速度也要快,以便能够从数据中及时地提取知识,发现价值。
  4. 多样(Variety):数据的来源及格式多样,数据格式除了传统的结构化数据外,还包括半结构化或非结构化数据,比如用户上传的音频和视频内容。而随着人类活动的进一步拓宽,数据的来源更加多样。
  • 复杂度(Complexity):对数据的处理和分析的难度大。

大数据与云计算的关系

在这里插入图片描述

云计算

云计算定义

在这里插入图片描述

  • 云计算长定义:云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。
  • 云计算短定义:云计算是通过网络按需提供可动态伸缩的廉价计算服务。

云计算特点

  • 云计算的7个特点:超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需付费、极其廉价

云计算分类(服务类型)

  • 将软件作为服务SaaS(Software as a Service):针对性更强,它将某些特定应用软件功能封装成服务,如:Salesforce online CRM
  • 将平台作为服务PaaS(Platform as a Service):对资源的抽象层次更进一步,提供用户应用程序运行环境如:Google App Engine ,Microsoft Windows Azure
  • 将基础设施作为服务IaaS(Infrastructure as a Service):将硬件设备等基础资源封装成服务供用户使用如:Amazon EC2/S3

云计算实现机制

在这里插入图片描述

云计算体系结构

在这里插入图片描述

  • 管理中间件层和资源池层是云计算技术的最关键部分,SOA构建层的功能更多依靠外部设施提供。

云计算的管理中间件层

在这里插入图片描述

  • 资源管理 :均衡使用云资源节点,检测节点故障并试图恢复或屏蔽之,并对资源的使用情况进行监视统计
  • 任务管理:执行用户或应用提交的任务,包括完 成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生 命期管理等
  • 用户管理 : 实现云计算商业模式的一个必不可少的环节,包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等
  • 安全管理:保障云计算设施的整体安全,包括身份认证、访问授权、综合防护和安全审计等

  • 简化的IaaS实现机制图

在这里插入图片描述

  • 用户交互接口向应用以WebServices方式提供访问接口,获取用户需求。
  • 服务目录是用户可以访问的服务清单。
  • 系统管理模块负责管理和分配所有可用的资源,其核心是负载均衡。
  • 配置工具负责在分配的节点上准备任务运行环境。
  • 监视统计模块负责监视节点的运行状态,并完成用户使用节点情况的统计。

这篇关于云端巨擘:大数据与云计算的时代航向的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/808606

相关文章

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

使用C#代码计算数学表达式实例

《使用C#代码计算数学表达式实例》这段文字主要讲述了如何使用C#语言来计算数学表达式,该程序通过使用Dictionary保存变量,定义了运算符优先级,并实现了EvaluateExpression方法来... 目录C#代码计算数学表达式该方法很长,因此我将分段描述下面的代码片段显示了下一步以下代码显示该方法如

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅:为什么Python是Excel数据处理的最佳拍档

在Pandas中进行数据重命名的方法示例

《在Pandas中进行数据重命名的方法示例》Pandas作为Python中最流行的数据处理库,提供了强大的数据操作功能,其中数据重命名是常见且基础的操作之一,本文将通过简洁明了的讲解和丰富的代码示例,... 目录一、引言二、Pandas rename方法简介三、列名重命名3.1 使用字典进行列名重命名3.编