本文主要是介绍大数据入门（4）hdfs的shell语法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1、测试hdfs文件上传和下载（HDFS shell）1.0查看帮助hadoop fs -help <cmd>1.1上传hadoop fs -put <linux上文件> <hdfs上的路径>hadoop fs -put jdk-7u71-linux-x64.tar.gz hdfs://192.168.21.115:9000/1.2查看文件内容hadoop fs -cat <hdfs上的路径>1.3查看文件列表hadoop fs -ls /1.4下载文件hadoop fs -get <hdfs上的路径> <linux上文件>hadoop fs -get hdfs://192.168.1.115:9000/jdk-7u71-linux-x64.tar.gz1.5新建文件(一层一层的建)hadoop fs -mkdir /aahadoop fs -mkdir /aa/bb1.6删除文件夹hadoop fs -rm -r /aa/bb1.7 统计文件大小hadoop fs -du -s -h hdfs://192.168.1.115:9000/1.8、copy 文件到指定虚拟机目录scp 文件 192.168.1.116:/home/admin2、测试mapreduce 使用shell自带的程序测试（app/hadoop-2.4.1/share/hadoop/mapreduce）hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 5新建txt文件： vi test.txt，写入hello word 新建input文件夹，将文件放到input文件夹中hadoop fs -mkdir /wordcounthadoop fs -mkdir /wordcount/inputhadoop fs -put test.txt /wordcount/input执行计算，test.txt 中的文字个数，输入结果放到output文件夹中hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /wordcount/input /wordcount/output查看文件列表：hadoop fs -ls /wordcount/output查看输入文件：hadoop fs -cat /wordcount/output/part-r-000002.使用java接口操作HDFS见eclipse工程下的demo本机修改ip映射：C:\Windows\System32\drivers\etc下的host文件，配置映射3.hadoop通信机制不同进程之间的方法进行调用4.HDFS源码分析FileSystem.get --> 通过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量在DFSClient构造方法里面，调用了createNamenode，使用了RPC机制，得到了一个NameNode的代理对象，就可以和NameNode进行通信了FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理
这篇关于大数据入门（4）hdfs的shell语法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
