HIVE CLOB字段处理

本文主要是介绍HIVE CLOB字段处理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在将数据由oracle数据库导入到Hive时，发现带有clob字段的表的数据会错乱，出现一些字段全为NULL的空行。

由于在项目中CLOB字段没有实际的分析用途，因此考虑将CLOB字段去掉。

同时，为了防止CLOB字段产生一些问题，因此将HIVE中CLOB字段禁用，禁用的方式如下：

[hadoop@master sqoop-1.4.5]$ cd $SQOOP_HOME/conf
[hadoop@master conf]$ vi oraoop-site.xml 

将以下属性的注释去掉，并且将value改为true

  <property>
    <name>oraoop.import.omit.lobs.and.long</name>
    <value>true</value>
    <description>If true, OraOop will omit BLOB, CLOB, NCLOB and LONG columns during an Import.
    </description>
  </property>

有些表中虽然有clob字段，但是不能排除掉，因为其他字段使我们所需要，因此在导入的时候采用指定--columns的方式来进行导入

sqoop import  --hive-import --hive-database  test  --create-hive-table      --connect  jdbc  --username user--password user --bindir //scratch  --outdir /java  --table aaa --columns "ID,NAME"  -m 1 --null-string '\\N'  --null-non-string '\\N'

这篇关于HIVE CLOB字段处理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---