Hive中DDL数据定义之管理表与外部表

2024-05-13 12:48

本文主要是介绍Hive中DDL数据定义之管理表与外部表,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

管理表

1.理论

默认创建的表都是所谓的管理表,有时也被称为内部表。因为这种表,Hive会(或多或少地)控制着数据的生命周期。Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如,/user/hive/warehouse)所定义的目录的子目录下。    当我们删除一个管理表时,Hive也会删除这个表中数据。管理表不适合和其他工具共享数据。

2.案例

  1)普通创建表



  • create table if not exists student(
     


  • id int, 
     


  • name string
     


  • )
     


  • row format delimited fields terminated by '\t'
     


  • stored as textfile
     


  • location '/user/hive/warehouse/student';

     

  2)根据查询结果创建表(查询的结果会添加到新创建的表中)



  • create table if not exists student1
     


  • as select id, name from student;

     

  3)根据已经存在的表结构创建表

create table if not exists student2 like student;

  4)查询表的类型

desc formatted student;

      

 

外部表

1.理论

因为表是外部表,所有Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据(在HDFS中仍然存在),不过描述表的元数据信息会被删除掉(在mysql中的元数据)

2.管理表和外部表的使用场景

每天将收集到的网站日志定期流入HDFS文本文件。在外部表(原始日志表)的基础上做大量的统计分析,用到的中间表、结果表使用内部表存储,数据通过SELECT+INSERT进入内部表。

3.案例

分别创建部门和员工外部表,并向表中导入数据

  1)原始数据

dept.txt



  • 10        ACCOUNTING        1700
     


  • 20        RESEARCH        1800
     


  • 30        SALES            1900
     


  • 40        OPERATIONS        1700

     

emp.txt



  • 7369        SMITH        CLERK        7902        1980-12-17        800.00                20
     


  • 7499        ALLEN        SALESMAN        7698        1981-2-20        1600.00        300.00        30
     


  • 7521        WARD        SALESMAN        7698        1981-2-22        1250.00        500.00        30
     


  • 7566        JONES        MANAGER        7839        1981-4-2        2975.00                20
     


  • 7654        MARTIN        SALESMAN        7698        1981-9-28        1250.00        1400.00        30
     


  • 7698        BLAKE        MANAGER        7839        1981-5-1        2850.00                30
     


  • 7782        CLARK        MANAGER        7839        1981-6-9        2450.00                10
     


  • 7788        SCOTT        ANALYST        7566        1987-4-19        3000.00                20
     


  • 7839        KING        PRESIDENT                1981-11-17        5000.00                10
     


  • 7844        TURNER        SALESMAN        7698        1981-9-8        1500.00        0.00        30
     


  • 7876        ADAMS        CLERK        7788        1987-5-23        1100.00                20
     


  • 7900        JAMES        CLERK        7698        1981-12-3        950.00                30
     


  • 7902        FORD        ANALYST        7566        1981-12-3        3000.00                20
     


  • 7934        MILLER        CLERK        7782        1982-1-23        1300.00                10

     

  2)建表语句

创建部门表



  • create external table if not exists default.dept(
     


  • deptno int,
     


  • dname string,
     


  • loc int
     


  • )
     


  • row format delimited fields terminated by '\t';

     

创建员工表



  • create external table if not exists default.emp(
     


  • empno int,
     


  • ename string,
     


  • job string,
     


  • mgr int,
     


  • hiredate string, 
     


  • sal double, 
     


  • comm double,
     


  • deptno int)
     


  • row format delimited fields terminated by '\t';

     

  3)导入数据



  • load data local inpath '/opt/package/hive/txt/dept.txt' into table dept;
     


  • load data local inpath '/opt/package/hive/txt/emp.txt' into table emp;

     

  4)查看表格式化数据

 

这篇关于Hive中DDL数据定义之管理表与外部表的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/985748

相关文章

Java中注解与元数据示例详解

《Java中注解与元数据示例详解》Java注解和元数据是编程中重要的概念,用于描述程序元素的属性和用途,:本文主要介绍Java中注解与元数据的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参... 目录一、引言二、元数据的概念2.1 定义2.2 作用三、Java 注解的基础3.1 注解的定义3.2 内

将sqlserver数据迁移到mysql的详细步骤记录

《将sqlserver数据迁移到mysql的详细步骤记录》:本文主要介绍将SQLServer数据迁移到MySQL的步骤,包括导出数据、转换数据格式和导入数据,通过示例和工具说明,帮助大家顺利完成... 目录前言一、导出SQL Server 数据二、转换数据格式为mysql兼容格式三、导入数据到MySQL数据

C++中使用vector存储并遍历数据的基本步骤

《C++中使用vector存储并遍历数据的基本步骤》C++标准模板库(STL)提供了多种容器类型,包括顺序容器、关联容器、无序关联容器和容器适配器,每种容器都有其特定的用途和特性,:本文主要介绍C... 目录(1)容器及简要描述‌php顺序容器‌‌关联容器‌‌无序关联容器‌(基于哈希表):‌容器适配器‌:(

C#提取PDF表单数据的实现流程

《C#提取PDF表单数据的实现流程》PDF表单是一种常见的数据收集工具,广泛应用于调查问卷、业务合同等场景,凭借出色的跨平台兼容性和标准化特点,PDF表单在各行各业中得到了广泛应用,本文将探讨如何使用... 目录引言使用工具C# 提取多个PDF表单域的数据C# 提取特定PDF表单域的数据引言PDF表单是一

一文详解Python中数据清洗与处理的常用方法

《一文详解Python中数据清洗与处理的常用方法》在数据处理与分析过程中,缺失值、重复值、异常值等问题是常见的挑战,本文总结了多种数据清洗与处理方法,文中的示例代码简洁易懂,有需要的小伙伴可以参考下... 目录缺失值处理重复值处理异常值处理数据类型转换文本清洗数据分组统计数据分箱数据标准化在数据处理与分析过

大数据小内存排序问题如何巧妙解决

《大数据小内存排序问题如何巧妙解决》文章介绍了大数据小内存排序的三种方法:数据库排序、分治法和位图法,数据库排序简单但速度慢,对设备要求高;分治法高效但实现复杂;位图法可读性差,但存储空间受限... 目录三种方法:方法概要数据库排序(http://www.chinasem.cn对数据库设备要求较高)分治法(常

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动