【hadoop Sqoop】Sqoop从mysql导数据到hdfs

本文主要是介绍【hadoop Sqoop】Sqoop从mysql导数据到hdfs，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.下载sqoop安装包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.解压安装包

tar -xzvf  /sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

3.配置hadoop

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz  sqoop-1.4.6
cd sqoop-1.4.6/conf
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

4.将mysql-connector-java-5.1.32-bin.jar放到 sqoop-1.4.6/lib目录中

5.设置环境变量 vim ~/etc/profile

    export SQOOP_HOME=/home/hadoop/sqoop-1.4.6export PATH=$PATH:$SQOOP_HOME/bin

6.编写脚本vim import-data.sh

#bin/bash
sqoop import \
--connect jdbc:mysql://115.29.185.31:39556/cgjr \
--username XXXX \
--password XXXX \
--table t_user_contact   \
--m 4  \
--target-dir /cgjr/t_user_contact \
--as-textfile

这篇关于【hadoop Sqoop】Sqoop从mysql导数据到hdfs的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---