Hadoop中实现数据的安全性和可靠性主要有以下几个方面: HDFS的副本机制:HDFS中每个数据块会有多个副… 继续阅读 Hadoop中如何实现数据的安全性和可靠性?
分类: 数据之美
大数据学习心得,大数据教程分享,Nginx技术分享,Nginx技术博文
Hive中的Bucket和Partition有什么区别?
Hive中的Bucket和Partition都是用于提高表的查询效率,但两者存在以下主要区别: 数据存储方式:… 继续阅读 Hive中的Bucket和Partition有什么区别?
什么是Apache Flink?
Apache Flink 是一个开源的分布式大数据计算框架。主要用于高吞吐量、低延迟的数据处理应用,如: 流式… 继续阅读 什么是Apache Flink?
Hadoop YARN是什么?它的作用是什么?
YARN是Hadoop 2.0中的资源管理框架,全称为Yet Another Resource Negotia… 继续阅读 Hadoop YARN是什么?它的作用是什么?
Hive中的分区表和非分区表有什么区别?
Hive中的表可以分为分区表和非分区表两种: 非分区表:一个表对应一个HDFS文件,所有数据存放在一个文件中。… 继续阅读 Hive中的分区表和非分区表有什么区别?
Hadoop MapReduce是什么?它的工作原理是什么?
MapReduce是Hadoop中用于大规模数据并行处理的编程模型和执行环境。它包含两个阶段:Map阶段和Re… 继续阅读 Hadoop MapReduce是什么?它的工作原理是什么?
Hive中如何设置数据分隔符?
在Hive中,数据分隔符是指将一行数据分割成多个列的分隔符,它的设置主要有两种方式: 在创建表时通过TBLPR… 继续阅读 Hive中如何设置数据分隔符?
HDFS是什么?有哪些特点?
HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写。它… 继续阅读 HDFS是什么?有哪些特点?
Hive中的DDL和DML分别是什么?它们的作用是什么?
Hive中的DDL和DML分别表示: DDL:Data Definition Language, 数据定义语言… 继续阅读 Hive中的DDL和DML分别是什么?它们的作用是什么?
Hadoop的生态系统中有哪些组件?它们各自的作用是什么?
Hadoop生态系统包含了许多组件,主要包括: 1、HDFS:Hadoop分布式文件系统,用于存储结构化和非结… 继续阅读 Hadoop的生态系统中有哪些组件?它们各自的作用是什么?
Hive是什么?它有什么作用?
Hive是Apache Hadoop的一个开源数据仓库工具,可以将结构化数据文件映射为一张数据库表,并提供简单… 继续阅读 Hive是什么?它有什么作用?
Hadoop是什么,它的优势是什么?
Hadoop是一个开源的分布式计算平台,它具有以下主要优势: 高可靠性:Hadoop构建在廉价的商用服务器集群… 继续阅读 Hadoop是什么,它的优势是什么?
Flink从入门到实战九[Table API&SQL]-8-基于FileSystem 创建 TABLE 通过 connector SQL DDL
Connector 描述了存储表数据的外部系统。存储系统例如 Apache Kafka 或者常规的文件系统都可… 继续阅读 Flink从入门到实战九[Table API&SQL]-8-基于FileSystem 创建 TABLE 通过 connector SQL DDL
Flink从入门到实战九[Table API&SQL]-7-基于FileSystem 创建 TABLE 通过 connector 声明
Connector 描述了存储表数据的外部系统。存储系统例如 Apache Kafka 或者常规的文件系统都可… 继续阅读 Flink从入门到实战九[Table API&SQL]-7-基于FileSystem 创建 TABLE 通过 connector 声明
Flink从入门到实战九[Table API&SQL]-6-什么是Catalogs
我们要建表,就要定义内部和外部表的结构,此时就是在定义Catalog。Catalog 提供了元数据信息,例如数… 继续阅读 Flink从入门到实战九[Table API&SQL]-6-什么是Catalogs
Flink从入门到实战九[Table API&SQL]-5-DataStream和DataSet与Table相互转换
将 DataStream 或 DataSet 转换成表//前面章节已经完整演示了代码Table table1 … 继续阅读 Flink从入门到实战九[Table API&SQL]-5-DataStream和DataSet与Table相互转换
Flink从入门到实战九[Table API&SQL]-4-使用StreamExecutionEnvironment创建 TableEnvironment
创建 TableEnvironment的第二种方法,可以通过StreamExecutionEnvironmen… 继续阅读 Flink从入门到实战九[Table API&SQL]-4-使用StreamExecutionEnvironment创建 TableEnvironment
Flink从入门到实战九[Table API&SQL]-3-使用EnvironmentSettings创建 TableEnvironment
上一节知道了TableEnvironment的作用,并且也知道了创建TableEnvironment有两种方法… 继续阅读 Flink从入门到实战九[Table API&SQL]-3-使用EnvironmentSettings创建 TableEnvironment
Flink从入门到实战九[Table API&SQL]-2-什么是 TableEnvironment
TableEnvironment 是 Table API 和 SQL 的核心概念。它负责: • 在内部的 ca… 继续阅读 Flink从入门到实战九[Table API&SQL]-2-什么是 TableEnvironment
Flink从入门到实战九[Table API&SQL]-1-什么是 Table API&SQL?
Flink本身是批流统一的处理框架,所以Table API和SQL,就是批流统一的上层处理API。目前功能尚未… 继续阅读 Flink从入门到实战九[Table API&SQL]-1-什么是 Table API&SQL?