Hive中如何进行数据压缩操作？代码举例讲解

发表于 作者 IT之美

在Hive中,我们可以使用以下方式进行数据压缩操作:

  1. SET:
  • 我们可以使用SET命令为表设置压缩属性。
  • 这需要指定表名和压缩算法,Hive支持GZIP.BZIP2.LZO.Snappy等压缩格式。
    例如:
SET hive.exec.compress.output=true;  -- 打开压缩开关
SET hive.exec.compress.intermediate=true; -- 对中间结果进行压缩

SET hive.exec.compress.codec=gzip;   -- 设置使用gzip压缩算法

CREATE TABLE table_name (col1 string) 
TBLPROPERTIES ("compress"="true"); -- 创建表时设置压缩属性开启
  1. ALTER TABLE:
  • 我们也可以使用ALTER TABLE为已存在的表设置压缩属性。
  • 这需要指定表名和压缩算法。
    例如:
ALTER TABLE table_name 
SET TBLPROPERTIES ("compress"="true"); -- 为已存在表开启压缩

ALTER TABLE table_name 
SET TBLPROPERTIES ("compress"="true", "compress.codec"="bzip2");  -- 设置使用bzip2压缩算法
  1. INSERT OVERWRITE:
  • 当对表进行INSERT OVERWRITE操作时,如果设置了压缩属性,数据将以压缩形式存储。
  • 这无需额外指定,直接执行INSERT OVERWRITE操作即可。
    例如:
INSERT OVERWRITE TABLE table_name  
SELECT * FROM source_table;  -- INSERT OVERWRITE操作会自动使用表设置的压缩格式压缩数据
  1. ORCFile Format:
  • ORCFile是Hive内置的列式存储格式,默认会使用ZLIB算法进行压缩。
  • 这无需显式设置压缩属性,直接使用ORCFile格式创建表即可。
    例如:
CREATE TABLE table_name (col1 string)  
STORED AS ORC;  -- 使用ORCFile格式创建表,数据将默认使用ZLIB压缩算法存储
  1. Parquet Format:
  • Parquet也是Hive支持的列式存储格式,默认使用GZIP.Snappy或LZO算法进行压缩。
  • 这需要在创建表时显式指定压缩算法,否则默认不压缩。
    例如:
CREATE TABLE table_name (col1 string)  
STORED AS PARQUET 
TBLPROPERTIES ("parquet.compression"="gzip");  -- 创建Parquet表并指定GZIP压缩算法