大数据学习之路------借助HDP SANDBOX开始学习

2024-06-10 00:08

本文主要是介绍大数据学习之路------借助HDP SANDBOX开始学习,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大数据学习之路------借助HDP SANDBOX开始学习

一开始...

  一开始知道大数据这个概念的时候,只是感觉很高大上,引起了我的兴趣。当时也不知道,这个东西是做什么的,有什么用,当然现在看来也是很模糊的样子,但是的确比一开始强了不少。

  所以学习的过程可能会很艰辛甚至有时候会很缓慢,但是感觉这东西未来会很有用途,最初了解大数据是从《大数据时代》这本书开始的,里面的很多概念和预测让我觉得很神奇。

  但是渐渐生活中的一些事物被印证,我渐渐接受了这本书的内容,我觉得这本书还是值得一看的。

  在国内这个技术似乎是比较新颖的,做的人似乎不是很多,正因为如此,资料也会匮乏,学习难度也上升了,但是这不是我们放弃的理由不是么?

借助平台管理工具

  废话少说,多学些东西才是正经事,在公司实习过一段时间了,感觉初学的困难之一就是,搭建平台。

  所以我们可以了解一下一些比较流行的平台管理工具:

  HDP、CDH

  而我在公司使用的便是HDP,所以我就大概的说一下HDP好了

HDP

HDP是什么?

  HDP全称叫做Hortonworks Data Platform。

  Hortonworks数据平台是一款基于Apache Hadoop的是开源数据平台,提供大数据云存储,大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据,并使其处理起来能变成简单、更有成本效益。HDP还提供了一个开放,稳定和高度可扩展的平台,使得更容易地集成Apache Hadoop的数据流业务与现有的数据架构。该平台包括各种的Apache Hadoop项目以及Hadoop分布式文件系统(HDFS)、MapReduce、Pig、Hive、HBase、Zookeeper和其他各种组件,使Hadoop的平台更易于管理,更加具有开放性以及可扩展性。

  官网地址为:http://zh.hortonworks.com/

HDP的架构

 

学习路线:

由上图看出

大概分为这么几类工具:

数据管理:
HDFS、YARN

数据访问:
Hive、Tez、Pig、Storm、Spark、HBase、Accumulo、Solr

数据管制和集成:

Atlas、Falcon、Oozie、Sqoop、Flume、Kafka

安全性:

Knox、Ranger

运营:

Ambari Zookeeper

Cloud:

Cloudbreak

既然没有什么具体的路线那么就是一个类一个类的来学习好了。

Hortonworks Sandbox的安装与使用:

  官网上解释:Hortonworks Sandbox,可以使用它尝试一下最新的hdp特性和功能。

  它可以装在一个VM上,如此来说,给我们学习大数据相关内容提供了极大的便利

  下载地址:http://zh.hortonworks.com/downloads/#sandbox

 

  安装的方法很简单,使用相应的虚拟机软件,直接导入就OK了。

 注意:我的笔记本电脑是12g内存的,而HDP2.5所需要的最小内存是8G,而如果你的内存不够,可以选择低版本的SANDBOX。

安装后,开启虚拟机就可以了

启动的过程可能会很久要耐心等待。

启动如下图所示:

 

打开浏览器,输入http://127.0.0.1:8888/即可。

进入后可以点开 view advanced options来查看更多的信息。

右下角有如下内容:

* Service disabled by default. To enable the service you need to log in as an ambari admin.

The ambari admin password can be set by following this tutorial

这里需要我们进行ssh登录后,添加admin账户的密码,并使用这个admin账户来登录虚拟机。

ssh工具登录使用地址127.0.0.1 端口为 2222

 这里也可以使用浏览器进行登录:

在浏览器里输入127.0.0.1:4200,访问即可

用户名:root

密码:  hadoop

登录后需要修改密码,这里的密码设置复杂一些,简单密码有可能通不过(不过经过本人测试,当你以后再次登录后,可以运行passwd root,修改成任意你想要的密码)

然后运行ambari-admin-password-reset命令,修改ambari的admin账户密码。

修改后,我们在浏览器里输入172.0.0.1:8080,并用admin账户登录。

截张图,

 

关于ambari的介绍如下:

  

  Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

  Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

 

以后我们就用它来学习了!

这篇关于大数据学习之路------借助HDP SANDBOX开始学习的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1046692

相关文章

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.

MySQL使用binlog2sql工具实现在线恢复数据功能

《MySQL使用binlog2sql工具实现在线恢复数据功能》binlog2sql是大众点评开源的一款用于解析MySQLbinlog的工具,根据不同选项,可以得到原始SQL、回滚SQL等,下面我们就来... 目录背景目标步骤准备工作恢复数据结果验证结论背景生产数据库执行 SQL 脚本,一般会经过正规的审批