Hive中如何设置数据分隔符？

发表于 作者 IT之美

在Hive中,数据分隔符是指将一行数据分割成多个列的分隔符,它的设置主要有两种方式:

  1. 在创建表时通过TBLPROPERTIES指定:
CREATE TABLE tbl_name (
    col1 string, 
    col2 string
)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',';

这个语句会将tbl_name表中的数据以’,’为分隔符分成多列。

  1. 在加载数据时指定:
LOAD DATA LOCAL INPATH '/path/to/file' 
INTO TABLE tbl_name 
FIELDS TERMINATED BY '\t';

这个语句会将文件’/path/to/file’中的数据以’\t’为分隔符加载到tbl_name表中。
如果在这两种方式都指定了分隔符,则LOAD DATA中的分隔符优先生效。
除了FIELDS TERMINATED BY,Hive中还提供了以下几种数据分隔方式:

  • COLLECTION ITEMS TERMINATED BY:集合数据项的分隔符,如数组。
  • MAP KEYS TERMINATED BY:Map中key的分隔符。
  • LINES TERMINATED BY:行分隔符,如果文件中没有明确的换行符,则需要指定。
  • ESCAPED BY:转义字符,用于转义分隔符字符,默认为’\’。
  • SERDE:使用SerDe进行数据读取,可以显式指定分隔符等属性。
    所以,总结来说,在Hive中主要通过两种方式设置数据的分隔符:
  1. 在创建表时通过TBLPROPERTIES指定分隔符。
  2. 在LOAD DATA语句中指定分隔符,优先级高于CREATE TABLE中指定的分隔符。
    除了FIELDS TERMINATED BY外,Hive还提供了其他分隔符设置方式,可以实现对各种复杂数据的灵活分隔。