本文主要是介绍CDH5.x 安装问题集锦,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
CDH 5.X 无法连接到 mysql 5.6
安装日志报错:
网上查到:
自己解决办法:
想到是因为自己要安装mysql,卸载了系统自带的,卸载了。所以,可能把该文件给删除了。就从其他节点,查询这个文件。libmysqlclient.so.18
果然可以查询到。
然后
vi /etc/ld.so.conf
后面增加一条记录:
/usr/lib64/mysql
保存后执行命令使之生效:ldconfig
You need to use one of the following commands. Which one depends on what OS and software you have and use.
- easy_install mysql-python (mix os)
- pip install mysql-python (mix os)
- apt-get install python-mysqldb (Linux Ubuntu, ...)
- cd /usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
- yum install MySQL-python (Linux Fedora, CentOS ...)
For Windows, see this answer: Install mysql-python (Windows)
上述方法仍没法解决:
越过了HUE的安装步骤,待CDH集群全部搭建完毕后,再单独进行HUE的安装。(后来,重新卸载了 主机的 python,自己重新装了python,就可以了)
查看安装日志,了解到:
可能是软件的问题
apt-get install python-libxslt1
如还不能解决,尝试下面安装
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel
重装了 python ,就可以了。看来是系统自带的python 缺少一些包。
问题三:CDH安装Hive 和 Oozie 过程中,找不到 jdbc驱动
解决方案:
安装Hive或OOzie的时候可能会报错,因为我们使用了MySql作为元数据存储,hive或OOzie默认没有带mysql的驱动,通过以下命令拷贝一个就行了。
问题四:集中有 667 个 副本不足的块 块。群集中共有 670 个块。百分比 副本不足的块: 99.97
原因
原因是设置的副本备份数与DataNode的个数不匹配。
我们在之前理论篇中已经说明了dfs. replication属性默认是3,也就是说副本数---块的备份数默认为3份。
hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解
但是我们这里集群只有两个DataNode。
所以导致了达不到目标---副本备份不足。
解决方法
本文中,直接给了3个datanode节点,完美解决了。
这种情况下的修复有2个步骤,1是设置目标备份数为2,2是通过命令更改当前备份数。
副本不足和副本过多都可以用这2个步骤解决,主要是跟DataNode的个数对应。
设置目标备份数为2
点击集群-HDFS-配置
搜索dfs. replication,设置为2后保存更改
问题五:NameNode 的 Java 堆栈大小
问题六:无法启动此 NFS Gateway
解决办法:
yum install rpcbind # 安装 rpcbind 服务
systemctl status rpcbind.service #查看rpcbind服务状态
systemctl start rpcbind.service #启动rpcbind服务
systemctl enable rpcbind.service#设置开机启动rpcbind服务
HDFS NFS Gateway工作需要依附 rpcbind 服务,所以启动前需要确定rpcbind服务正常开启。 service rpcbind start
但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务。service nfs stop
问题七:
CDH 5.X 无法连接到 mysql 5.6
安装日志报错:
网上查到:
自己解决办法:
想到是因为自己要安装mysql,卸载了系统自带的,卸载了。所以,可能把该文件给删除了。就从其他节点,查询这个文件。libmysqlclient.so.18
果然可以查询到。
然后
vi /etc/ld.so.conf
后面增加一条记录:
/usr/lib64/mysql
保存后执行命令使之生效:ldconfig
You need to use one of the following commands. Which one depends on what OS and software you have and use.
- easy_install mysql-python (mix os)
- pip install mysql-python (mix os)
- apt-get install python-mysqldb (Linux Ubuntu, ...)
- cd /usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
- yum install MySQL-python (Linux Fedora, CentOS ...)
For Windows, see this answer: Install mysql-python (Windows)
上述方法仍没法解决:
越过了HUE的安装步骤,待CDH集群全部搭建完毕后,再单独进行HUE的安装。
查看安装日志,了解到:
可能是软件的问题
apt-get install python-libxslt1
如还不能解决,尝试下面安装
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel
问题三:CDH安装Hive 和 Oozie 过程中,找不到 jdbc驱动
解决方案:
安装Hive或OOzie的时候可能会报错,因为我们使用了MySql作为元数据存储,hive或OOzie默认没有带mysql的驱动,通过以下命令拷贝一个就行了。
问题四:集中有 667 个 副本不足的块 块。群集中共有 670 个块。百分比 副本不足的块: 99.97
原因
原因是设置的副本备份数与DataNode的个数不匹配。
我们在之前理论篇中已经说明了dfs. replication属性默认是3,也就是说副本数---块的备份数默认为3份。
hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解
但是我们这里集群只有两个DataNode。
所以导致了达不到目标---副本备份不足。
解决方法
本文中,直接给了3个datanode节点,完美解决了。
这种情况下的修复有2个步骤,1是设置目标备份数为2,2是通过命令更改当前备份数。
副本不足和副本过多都可以用这2个步骤解决,主要是跟DataNode的个数对应。
设置目标备份数为2
点击集群-HDFS-配置
搜索dfs. replication,设置为2后保存更改
问题五:NameNode 的 Java 堆栈大小
问题六:无法启动此 NFS Gateway
解决办法:
yum install rpcbind # 安装 rpcbind 服务
systemctl status rpcbind.service #查看rpcbind服务状态
systemctl start rpcbind.service #启动rpcbind服务
systemctl enable rpcbind.service#设置开机启动rpcbind服务
HDFS NFS Gateway工作需要依附 rpcbind 服务,所以启动前需要确定rpcbind服务正常开启。 service rpcbind start
但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务。service nfs stop
这篇关于CDH5.x 安装问题集锦的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!