本文主要是介绍阿里云的oss上传到cdh的hdfs集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1.oss可以上传到hdfs,支持emr集群还支持其他开源的hdfs版本。
emr-tools兼容Hadoop 2.4.x、2.5.x、2.6.x、2.7.x版本,如果有其他Hadoop版本兼容性的需求,请提交工单给阿里云。
下载https://helpcdn.aliyun.com/document_detail/63822.html
tar jxf emr-tools.tar.bz2
2.oss到hdfs命令。
./hdfs2oss4emr.sh oss://accessKeyId:accessKeySecret@bucket-name.oss-cn-hangzhou.aliyuncs.com/path/on/oss /path/on/new-hdfs
这个可以作为备份数据的方式,可以降低存储价格。
参数 | 说明 |
---|---|
accessKeyId | 访问OSS API的密钥。 获取方式请参见如何获取如何获取AccessKeyId和AccessKeySecret。 |
accessKeySecret | |
bucket-name.oss-cn-hangzhou.aliyuncs.com | OSS的访问域名,包括bucket名称和endpoint地址。 |
这篇关于阿里云的oss上传到cdh的hdfs集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!