实战hadoop海量数据处理系列02 番外篇: 在linux上使用hql执行工具 | hive排错记录

本文主要是介绍实战hadoop海量数据处理系列02 番外篇: 在linux上使用hql执行工具 | hive排错记录,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

实战hadoop海量数据处理系列02 番外篇: 在linux上使用hql执行工具 | hive排错记录

本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。

在阅读本文前,强烈建议阅读原书“实现数据分析工具模块”章节和本人博客系列之实战hadoop海量数据处理系列02: hql执行工具

本文的代码同步于https://github.com/titer1/Play_HadoopFelix

目标

目标确保python封装hql执行工具在Linux上面能够正常运行。

大纲

  • 准备工作
  • python开发遇到的问题
  • map reduce排除故障的思考
  • hql工具在linux运行的情况
  • 其他关于整个项目部署的阶段思考
    读者朋友可以根据自己的需要选择阅读,希望开卷有益。

1 准备工作

环境依赖上, 只需要hive正常安装,并且hive数据仓库有至少一个数据库。所以读者朋友不一定使用我们前面章节的Orders表等。

确定数据库后,就可以将自己需要的相关Hql语句放在工程的Query.xml里面

1.1 相关脚本的跨平台支持

  • 环境相关的变量全部要做跨平台的支持。这里就要更新之前的pro_env.py
windows下面的文件路径和linux下面是不一致的,文件路径中的分割符也是不一致的。
  • 匹配python软件包的搜索策略
windows平台下软件包被eclipse进行托管,不用担心;
但是linux,需要显示的告诉解释器包在哪儿,这里主要的改动就是在查询主函数hql_exe.py
  • python脚本的修改尽量在linux上进行
开发过程中,遇到python脚本格式的问题。
从windows的文本编辑器Notepad++中看,没有任何问题,但是linux上面就是报格式问题。
折腾半小时后,用vi查看对应脚本,果然是windows上面的对齐在linux下没有生效。
一句话,跨平台编写Python脚本,选好编辑器是第一步

2 python脚本排错插曲

在windows上模拟端运行好好的python程序,在Linux命令行下面不一定正常使用。
幸好python调试器很容易上手,调试的命令和gdb没有大的差异,这帮了我很大的忙。
此时懂Python调试将会帮上很大的忙。在这个项目中,我遇到如下问题

  • 2.1 包找不到
这里细节已经说明,就是要把当前工程路径加入Python搜索的路径中,解决方法如下:
sys.path.append(os.path.abspath('../../'))
  • 2.2 xml配置文件找不到
这是一个非常基本的问题,在执行完hive命令后,告知脚本找不到,路径关键词含有hivebin,我在本工程文件夹和hive配置文件夹寻找,都没有找到。差不多一个小时后,发现xml文件路径是代码合成的,问题出在路径拼接环节,原始字符串有问题。根本原因是环境配置的变量没有及时更新。所以细心的准备环境是很有必要的。
  • 2.3 在xml配置文件找不到时,返回乱码的异常提示
简单来说是编码问题,源于初始代码中的异常是中文写的,即使在python2代码显式说明utf8编码,依然无效,。当前这个问题还没有解决,我暂时把异常说明更新为英文,读者朋友有好的建议,可以留言告知。
  • 2.4 没有报错,但是一直没有结果输出
原始代码,使用命令封装函数执行hive执行,封装命令使用了终端静默模式(-S)。为了调试,我打开了静默模式,但是依然没有任何改进

在确认问题不是Python引起后,我把目光转移到map reduce上面

2 map reduce 排错插曲

现象是本工具中执行 select count(*) from users特别的慢,一直没有输出。

2.1尝试直接在hive命令行中执行

问题和python触发执行时一样,排除是python工具问题,在Hive的命令行输出只看到reducer数目的分配,看不到其他下文

更多思考
其实hive在0.13版本后,所有的job日志都放在 /tmp/root/hive.log,关于task运行异常的细节可以在此查看。

2.2 尝试运行hadoop经典列子wordcount

先看下错误现象

ERROR [main]: ql.Driver (SessionState.java:printError(569)) - FAILED: Execut        ion Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exce        ption: java.net.ConnectException Call From sparkproject1/192.168.18.107 to sparkproject1:9000 failed         on connection exception: java.net.ConnectException: Connection refused; For more details see:  http        ://wiki.apache.org/hadoop/ConnectionRefused)

故障现象更近一步,从命令行log中看到driver不断的去连接某服务器,但是没有结果。细心一看,而该服务器对应的ip不是我期望的,问题出现眉目,原来host文件没有随网络环境进行更新。

在更新host文件后,依然没有触发任务,此时报连接resource manager错误,ip是正常的。

我忽然想到yarn服务没有启动。

在重启hadoop和启动yarn服务后,任务得到期望执行。

3 运行情况

[root@sparkproject1 cal]# python exe_hql.linux.py 
success
['17/06/09 09:27:45 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead', '1\tstr1', '2\tstr2', '3\tstr3', '3\tstr31', '3\tstr33', '4\tstr41', '4\tstr42']

问题的输出很简洁,需要了解详情的读者,请直接取最新的代码。

1分钟运行动态图

4 其他的心得

这里心得不仅仅在本章,也有前章数据库的设计上

4.1 代码异常方面

初期的代码中队所有的异常没有进行分类,导致一出错,不能快速定位

4.2 更新随机生成数据集的方法

随机数其实可以展开为取到随机不重复的值,取到某区间的随机值。
之前生成能实现的方法不是特别适合我们当前的环境,最好随机力度是以天为单位,新版本函数已经得到更新

4.3 存储过程很容易掉进过期的坑

过期的存储往往会打乱开发节凑,不知道有没有好的规避方法

4.4 数据维护方面

每一次删除Orders表,由于存在外键依赖,如果不接触外键检查的选项,系统会提示删除失败。
多trucate表,而不是drop后重建,尽量避免数据损失。

4.5 本地Mysql数据库的远程访问

记得为远程用户提供权限访问。访问。问。

小结

这是一篇记录排除bug的博文,读者可以根据兴趣选择章节查看。谢谢

这篇关于实战hadoop海量数据处理系列02 番外篇: 在linux上使用hql执行工具 | hive排错记录的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/894384

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件