【云计算复习】第1节云计算概述和 GFS + chunk

本文主要是介绍【云计算复习】第1节云计算概述和 GFS + chunk，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、云计算概述

1.云计算的商业模式

（1）软件即服务（SaaS）

有些景区给游客提供烧烤场地，游客需要自己挖坑或者砌烧烤台，然后买肉、串串、烧烤。

（2）平台即服务（PaaS）

有些景区给游客提供烧烤场地，同时搭建好烧烤台，游客只需要自己带食材和调料、串串、烧烤。

（3）基础设施即服务（IaaS）

有些景区给游客提供烧烤场地，同时搭建好烧烤台，还有专门的厨师来烧烤，用户不需要关心前面的所有问题，只需要烤好以后直接拿来吃。

二、Google文件系统GFS

1.概述

（1）大型分布式文件系统。

（2）为Google云计算提供海量存储。

（3）处于所有核心技术的底层。

（4）Google的GFS采用廉价的商用机器构建，对硬件设施要求不高。

（5）GFS将容错交给文件系统完成，利用软件的方法解决系统可靠性问题

（6）命名空间（Name Space），也就是整个文件系统的目录结构。

2.由三部分构成：Master，Client，Chunk Server

（1）控制流和数据流分离

（2）I/O高度并行

3.Chunk Serve：

（1）负责具体的存储工作，数据以文件的形式保存，可以有多个，其数目直接决定了GFS的规模。

（2）Chunk：GFS将文件按照固定大小分块，每一块称为一个Chunk，默认大小64MB，每个Chunk对应一个索引号。

（3）标识chunk的句柄是一个不变的、全局唯一的64位的ID。

（4）Chunk副本的位置信息保存在各个Chunk Server上，在Master启动时或有新的 Chunk加入时，向各个Chunk Server轮询它们所存储的Chunk位置信息。

（5）GFS采用副本的方式实现Chunk Server的容错，每一个Chunk有多个存储副本（默认为三个）。

（6）对于每一个Chunk，必须将所有的副本全部写入成功，才视为成功写入。

（7）相关的副本出现丢失或不可恢复等情况，Master自动将该副本复制到其他 Chunk Server。

4.特点

（1）采用中心服务器模式：

可以方便地增加Chunk Server，Master掌握系统内所有Chunk Server的情况，方便进行负载均衡，不存在元数据的一致性问题。

（2）不缓存数据：

客户端的文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大，Chunk Server上数据以文件形式存储，本地的文件系统自然会将其缓存。

（3）在用户态下实现：

利用POSIX（可移植操作系统接口）存取数据，不需要了解系统的内部实现机制和接口，降低了实现难度，提高通用性。

（4）只提供专用接口：降低了实现难度，不需要在内核级实现，直接在应用层实现。

5.系统管理技术

（1）大规模集群安装技术：GFS集群中通常有非常多的节点，需要相应的技术支撑。

（2）故障检测技术：GFS构建在不可靠廉价计算机之上的文件系统，由于节点数目众多，故障发生十分频繁。

（3）节点动态加入技术：新的Chunk Server加入时，只需裸机加入，大大减少GFS维护工作量。

（4）节能技术：Google采用了多种机制降低服务器能耗，如采用蓄电池代替昂贵的UPS、 48V代替12V电源架构等。

三、MapReduce

1.概述：

map函数对输入数据进行第一次处理（分类等），输出键值对，然后把这个生成的键值对发给reduce进行二次处理（归并等）。

四、习题

第2题 1分
下列不属Google云计算产品的是（）。
A GFS
B MapReduce
C Bigtable
D SQL Azure

答案：D

第8题 1分
以下（）文件系统采用廉价的商用机器构建，对硬件设施要求不高。
A GFS(Google FS)
B GFS(Global FS)
C GPFS(General Parallel FS)
D Lustre(Sun FS)

答案：A

第10题 1分
Google文件系统GFS中，数据以（）的形式存在于Chunk Server上。
A 文件
B 链接
C 索引
D 目录

答案：A

第11题 1分
MapReduce中，Map的输出结果是（）。
A 键值对
B 最终结果
C 原始数据
D Key

答案：A

第14题 1分
云计算是在2006年8月，由（）公司首席执行官提出。
A Google
B 微软
C Amazon
D Tecent

答案：A

第16题 1分
GFS使用（）来实现对GFS Master服务器的选取。
A Bigtable
B Dapper
C MapReduce
D Chubby

答案：D

第20题 1分
将硬件设备等基础资源封装成服务提供给用户使用，基础设施及服务的是（）。
A IaaS
B PaaS
C SaaS
D 以上都不对

答案：A

第21题 3分
云计算按照服务类型可以分为[填空1]、[填空2]和[填空3]三类。

答案：IaaS、PaaS、SaaS

第22题 1分
MapReduce中，Map的输出结果是[填空1]。

答案：键值对

GFS的默认Chunk大小是[填空1]。

答案：64 MB

第25题 4分
云计算技术体系结构分为四层，分别是[填空1]、[填空2]、[填空3]和[填空4]。

答案：物理资源层、资源池层、管理中间件层、SOA构件层

第1题 1分
Master是GFS的管理节点，它保存系统的（）,负责整个文件系统的管理。
A 元数据
B 核心数据
C 数据库
D 索引

答案：A

第6题 1分
（）决定了Google文件系统GFS的规模。
A Chunk的数目
B Client的数目
C Chunk Server的数目
D Master的数目

答案：C

1. GFS的三个角色中，需要缓存数据的是( )

A客户端

B 数据库服务器

C Chunk Server

D Master

答案：D

第21题 2分
在用MapReduce框架进行编程的时候，我们使用[填空1]函数来进行映射，使用[填空2]函数进行归并化简。

答案：Map、Reduce

第23题 1分
GFS的设计实现了控制流和[填空1]的分离。

答案：数据流

第25题 1分
Chunk数据块的默认大小为[填空1]MB。

答案：64