Hive中如何进行数据存储操作？代码举例讲解

发表于 作者 IT之美

在Hive中,我们可以使用以下方式进行数据存储操作:

  1. CREATE TABLE:
  • 使用CREATE TABLE语句可以创建不同格式的Hive表来存储数据。
  • 这需要指定存储格式(TEXTFILE.ORC.PARQUET等)以及表结构。
    例如:
CREATE TABLE table_name 
(
    col1 STRING, 
    col2 INT
)
STORED AS ORC; -- 创建ORC格式的表
  1. LOAD DATA:
  • 使用LOAD DATA语句可以将本地数据文件加载到Hive表中存储。
  • 这需要指定本地数据文件路径和要加载的Hive表名。
    例如:
LOAD DATA  
LOCAL INPATH '/path/to/data.txt'  
INTO TABLE table_name;  -- 将本地data.txt数据加载到Hive表table_name存储
  1. INSERT OVERWRITE:
  • 使用INSERT OVERWRITE语句可以将查询结果插入Hive表中存储。
  • 这需要指定目标存存储表名和查询语句。
    例如:
INSERT OVERWRITE TABLE table_name    
SELECT * FROM source_table;  -- 将source_table表数据插入table_name表存储
  1. Amazon S3:
  • 我们可以使用Amazon S3服务来存储Hive表数据。
  • 这需要在Hive中配置S3访问参数,并在创建表时指定存储位置为S3。
    例如:
CREATE EXTERNAL TABLE source_s3 
(
    col1 STRING, 
    col2 INT    
)
STORED AS ORC  
LOCATION 's3a://bucket/path/';  -- 指定S3路径存储表数据
  1. HDFS:
  • Hive表数据的默认存储位置是HDFS。我们也可以在创建表时明确指定HDFS路径。
  • 这需要指定表数据在HDFS上的存储路径。
    例如:
CREATE TABLE source_hdfs 
(
    col1 STRING, 
    col2 INT    
)  
STORED AS ORC 
LOCATION '/path/to/data'; -- 指定HDFS路径/path/to/data存储表数据