本文主要是介绍Liunx安装Sqoop及简单使用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、简介
sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
可以将一个关系型数据库（例如 ： MySQL ,Oracle 等）中的数据导进到Hadoop的HDFS、HIVE、HBASE中。
也可以将Hadoop的HDFS、HIVE、HBASE的数据导进到关系型数据库中。
官网：http://sqoop.apache.org
二、准备工作
1、安装hadoop集群
https://blog.csdn.net/u011374856/article/details/103310627
三、Sqoop下载
下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.15.1.tar.gz
注:其他大数据组件也可在 http://archive.cloudera.com/cdh5/cdh/5 版本库中找到
四、Sqoop安装
1、解压压缩包
tar -zxvf sqoop-1.4.6-cdh5.15.1.tar.gz2、配置环境变量
#配置当前用户环境变量
vi ~/.bash_profile#在文件中添加如下命令，记得切换自己文件路径
export SQOOP_HOME=/home/app/sqoop-1.4.6-cdh5.15.1
export PATH=$SQOOP_HOME/bin:$PATH#立即生效
source ~/.bash_profile3、版本信息
sqoop version五、MySQL8.0导入HBase
1、Docker安装MySQL
https://blog.csdn.net/u011374856/article/details/103344949
2、安装hbase集群
https://blog.csdn.net/u011374856/article/details/103316527
3、创建测试数据库和测试表并添加一些数据
4、下载依赖Jar包
#下载目录
http://central.maven.org/maven2/mysql/mysql-connector-java/#SQOOP_HOME的lib目录
cd $SQOOP_HOME/lib#MySQL驱动远程下载
wget http://central.maven.org/maven2/mysql/mysql-connector-java/8.0.11/mysql-connector-java-8.0.11.jar#java-json远程下载
wget http://www.java2s.com/Code/JarDownload/java-json/java-json.jar.zip#解压文件
unzip java-json.jar.zip#如果报-bash: unzip: 未找到命令
yum install -y unzip zip#如果报错-bash: wget: 未找到命令
yum install -y wget5、执行导入
#到SQOOP_HOME的bin目录
cd $SQOOP_HOME/bin#测试mysql能否连接
sqoop list-databases \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username 'root' \
--password '123456'#sql语句检验
sqoop eval \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username 'root' \
--password '123456' \
--query "SELECT * FROM woniu"#导入命令
sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/test \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 123456 \
--table woniu \
--hbase-table hbase_woniu \
--column-family info \
--hbase-create-table \
--hbase-row-key id \
--hbase-bulkload6、大功告成
这篇关于Liunx安装Sqoop及简单使用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
