虚拟机CentOs的安装及大数据的环境搭建

本文主要是介绍虚拟机CentOs的安装及大数据的环境搭建，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

虚拟机CentOs的安装及大数据的环境搭建

                              大数据问题汇总
     1.安装问题
        1.安装步骤，详见文档《centos虚拟机安装指南》
        2.vi编辑器使用问题，详见文档《linux常用命令.pdf》
        3.网络中继更改问题
        命令：   vi /etc/sysconfig/network-scripts/ifcfg-eth0
·········需要修改的代码
·········DEVICE=eth0
           HWADDR=00:0C:29:11:02:E8
           TYPE=Ethernet
           UUID=c1038317-21f4-4251-a68f-0962fd644cab
           NBOOT=yes
           NM_CONTROLLED=yes
           BOOTPROTO=static
           IPADDR=192.168.17.238
           GATEWAY=192.168.17.1
           NDS1=114.114.114.114
           IPV6INIT=NO
      安装步骤到此结束
2.hadoop 环境配置问题
           1.修改主机名称
               命令：vi /etc/hosts
           2.配置java ，hadoop环境变量
              命令：vi/etc/prifile
#java
JAVA_HOME=/jdk1.7.0_79
JAVA_BIN=/jdk1.7.0_79/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
#hadoop
export HADOOP_HOME=/home/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=/home/hadoop-2.5.2/lib/native/
         生效     命令：. /etc/prifile
        3关闭放火枪
           service iptables stop
           chkconfig iptables off
           3.1修改配置文件
           vi /etc/selinux/config
                   修改为：
                     SELINUX=disabled

       4.ssh免密设置
         下载 ssh服务
            命令：yum -y install openssh-clients
         生成ssh密匙：
            ssh-keygen -t rsa
        进入根目录：命令： cd~;
         cd .ssh
          ls 查看文件
         将文件 id_rsa.hub 考入：命令：cat id_rsa.pub >>authorized_keys
         将 datanode节点上的 id_rsa.hub 考入命令
         ssh datanode1 cat .ssh/id_rsa.pub >>authorized_keys
        将文件发送到datanode节点：
                    [root@namenode ~]# scp authorized_keys datanode1:~/.ssh
       测试 ssh datanode1 免密登陆到datanode1主机
       至此前期配置完成
         5 hadoop配置
         修改hadoop配置文件
         yarn-site.xml
         mapred-site.xml
         slaves hdfs-site.xml
         yarn-env.sh
         hadoop-env.sh
       详见《hadoop配置手册》
      配置环境测试：
               cd /home/hadoop-2.5.2/sbin
             输入 sh start-all.sh
            等待启动
           启动完毕后
       测试：
              输入 jps
                namenode 节点显示：
                      8722 ResourceManager
                       11446 Jps
                        9371 DataNode
                       8812 NodeManager
                        9283 NameNode
              datanode1节点输入 jps
                        显示：
                    5694 Jps
                    2867 NodeManager
                    2782 DataNode
             则基本配置成功
            测试计算 pi
       cd /home/hadoop-2.5.2/share/hadoop/mapreduce
          命令 [root@namenode mapreduce]# hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 2 5
          回车