10G的CSV倒入Oracle数据库会占用多少空间?

2024-02-04 12:32

本文主要是介绍10G的CSV倒入Oracle数据库会占用多少空间?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

利用Oracle示例Schema中的sh.sales表,导出为csv文件。

建立外部表sales_ext,对应此csv文件:

CREATE TABLE sales_ext ("PROD_ID"        NUMBER,"CUST_ID"        NUMBER,"TIME_ID"        DATE,"CHANNEL_ID"     NUMBER,"PROMO_ID"       NUMBER,"QUANTITY_SOLD"  NUMBER(10, 2),"AMOUNT_SOLD"    NUMBER(10, 2)
)
ORGANIZATION EXTERNAL (TYPE ORACLE_LOADERDEFAULT DIRECTORY default_dir ACCESS PARAMETERS ()LOCATION ( 'SALES_DATA_TABLE.csv' )
);

最初的csv文件只有20MB,使用类似以下脚本放大到10G:

for i in {1..6}; do cat SALES_DATA_TABLE.csv >> /u01/tmp/SALES_DATA_TABLE.csv
done

查看文件:

$ ls -l /u01/tmp/SALES_DATA_TABLE.csv
-rw-r--r-- 1 oracle oinstall 10886524012 Jul 16 06:36 /u01/tmp/SALES_DATA_TABLE.csv

查询外部表的行数:

SQL> select count(*) from sales_ext;COUNT(*)
----------334458852

从外部表创建实体表:

set timing on
create table sales nologging as select * from sales_ext;

创建表耗时:

Elapsed: 00:22:49.06

表占用的空间:

SQL> set numformat 999,999,999,999
SQL> select bytes, blocks from user_segments where segment_name = 'SALES';BYTES           BLOCKS
---------------- ----------------13,237,223,424        1,615,872

这个比CSV文件多了2G,多了20%的开销:

SQL> select 13237223424 - 10886524012 from dual;13237223424-10886524012
-----------------------2350699412SQL> select 13237223424/10886524012 from dual;13237223424/10886524012
-----------------------1.21592745

启用压缩:

SQL> set timing on
SQL> alter table sales move compress;

启用压缩耗时:

Elapsed: 00:18:57.82

只用到4G了,压缩效果不错:

SQL> set numformat 999,999,999,999
SQL> select bytes, blocks from user_segments where segment_name = 'SALES';BYTES           BLOCKS
---------------- ----------------4,429,185,024          540,672

查询性能。:

SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:23.75
SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:46.51
SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:18.04
SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:21.23
SQL>  select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:19.30
SQL>  select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:18.65

去除压缩:

alter table sales move nocompress;

空间占用:

SQL>  select bytes, blocks from user_segments where segment_name = 'SALES';BYTES           BLOCKS
---------------- ----------------11,904,483,328        1,453,184

有个奇怪的问题,就是解压后的空间和最初未压缩时的空间不一致,要小些。

查询时间:

SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:15.14
SQL> select count(*) from sales;COUNT(*)
----------334458852Elapsed: 00:02:40.84
SQL> select count(*) from sales;COUNT(*)
----------------334,458,852Elapsed: 00:02:19.90
SQL> select count(*) from sales;COUNT(*)
----------------334,458,852Elapsed: 00:02:19.68
SQL> select count(*) from sales;COUNT(*)
----------------334,458,852Elapsed: 00:02:19.38

这篇关于10G的CSV倒入Oracle数据库会占用多少空间?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/677519

相关文章

Python调用Orator ORM进行数据库操作

《Python调用OratorORM进行数据库操作》OratorORM是一个功能丰富且灵活的PythonORM库,旨在简化数据库操作,它支持多种数据库并提供了简洁且直观的API,下面我们就... 目录Orator ORM 主要特点安装使用示例总结Orator ORM 是一个功能丰富且灵活的 python O

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景

oracle DBMS_SQL.PARSE的使用方法和示例

《oracleDBMS_SQL.PARSE的使用方法和示例》DBMS_SQL是Oracle数据库中的一个强大包,用于动态构建和执行SQL语句,DBMS_SQL.PARSE过程解析SQL语句或PL/S... 目录语法示例注意事项DBMS_SQL 是 oracle 数据库中的一个强大包,它允许动态地构建和执行

PLsql Oracle 下载安装图文过程详解

《PLsqlOracle下载安装图文过程详解》PL/SQLDeveloper是一款用于开发Oracle数据库的集成开发环境,可以通过官网下载安装配置,并通过配置tnsnames.ora文件及环境变... 目录一、PL/SQL Developer 简介二、PL/SQL Developer 安装及配置详解1.下

使用Navicat工具比对两个数据库所有表结构的差异案例详解

《使用Navicat工具比对两个数据库所有表结构的差异案例详解》:本文主要介绍如何使用Navicat工具对比两个数据库test_old和test_new,并生成相应的DDLSQL语句,以便将te... 目录概要案例一、如图两个数据库test_old和test_new进行比较:二、开始比较总结概要公司存在多

MySQL数据库函数之JSON_EXTRACT示例代码

《MySQL数据库函数之JSON_EXTRACT示例代码》:本文主要介绍MySQL数据库函数之JSON_EXTRACT的相关资料,JSON_EXTRACT()函数用于从JSON文档中提取值,支持对... 目录前言基本语法路径表达式示例示例 1: 提取简单值示例 2: 提取嵌套值示例 3: 提取数组中的值注意

查询SQL Server数据库服务器IP地址的多种有效方法

《查询SQLServer数据库服务器IP地址的多种有效方法》作为数据库管理员或开发人员,了解如何查询SQLServer数据库服务器的IP地址是一项重要技能,本文将介绍几种简单而有效的方法,帮助你轻松... 目录使用T-SQL查询方法1:使用系统函数方法2:使用系统视图使用SQL Server Configu

SQL Server数据库迁移到MySQL的完整指南

《SQLServer数据库迁移到MySQL的完整指南》在企业应用开发中,数据库迁移是一个常见的需求,随着业务的发展,企业可能会从SQLServer转向MySQL,原因可能是成本、性能、跨平台兼容性等... 目录一、迁移前的准备工作1.1 确定迁移范围1.2 评估兼容性1.3 备份数据二、迁移工具的选择2.1

Python中连接不同数据库的方法总结

《Python中连接不同数据库的方法总结》在数据驱动的现代应用开发中,Python凭借其丰富的库和强大的生态系统,成为连接各种数据库的理想编程语言,下面我们就来看看如何使用Python实现连接常用的几... 目录一、连接mysql数据库二、连接PostgreSQL数据库三、连接SQLite数据库四、连接Mo

Linux环境变量&&进程地址空间详解

《Linux环境变量&&进程地址空间详解》本文介绍了Linux环境变量、命令行参数、进程地址空间以及Linux内核进程调度队列的相关知识,环境变量是系统运行环境的参数,命令行参数用于传递给程序的参数,... 目录一、初步认识环境变量1.1常见的环境变量1.2环境变量的基本概念二、命令行参数2.1通过命令编程