本文主要是介绍如何上传数据到集群的HDFS上,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
直接甩例子,如下。
背景
我windows机子上有一个rai_4m1.txt文件。
我要将它传到一个hadoop集群上去,放到hdfs上。
集群中有一台机器,地址为192.168.0.41。
借用工具
1、Xftp
传文件从一台机器上到另一台机器上。配好会话后可直接给目标机器新建目录,将源机器上的文件拖到目标机器上。
2、Xshell
敲命令,远程访问机器。
如何将这个rai_4m1.txt数据放到集群的HDFS上?
要先把我windows机子上的rai_4m1.txt数据传到集群中随意一台机子上去,之后,再用hdfs命令将该数据上传到hdfs上。
具体:
1、将文件传到集群里的任意一台机器上(也就是通常说的本地)
假如就放到192.168.0.41这个机器上。
工具:Xftp 6
下载下来后,配好后,把rai_4m1.txt文件拖上去(自己选好目录)。
具体配置时,需要目标机器地址、用户名、密码、协议(SFTP)+端口(22)
2、用hdfs命令将该文件上传到HDFS上
工具: Xshell
它可以让我们远程访问集群。
把Xshell配好会话,在这里写命令。
(1)在hdfs上创建一个文件夹(你将把数据放在这里)
我建了个input文件夹。
(2)将本地文件传上去
查看:
也可以在浏览器打开http://192.168.0.41:50070,在 Utilities下的Browse Directory中查看:
The end啦~
这篇关于如何上传数据到集群的HDFS上的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!