从入门到放弃之大数据Hive

作者 : 开心源码 本文共963个字,预计阅读时间需要3分钟 发布时间: 2022-05-12 共245人阅读

开门见山,今天说说Hive!!!

什么是Hive

Hive:由Facebook开源用于处理海量结构化日志的数据统计。?

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。

本质是:将HQL转化成MapReduce程序?

1)Hive解决的数据存储在HDFS?

2)Hive分析数据底层的实现是MapReduce?

3)执行程序运行在YARN上

为什么使用Hive

1)直接使用hadoop所面临的问题?

(1)人员学习成本太高?

(2)项目周期要求太短?

(3)MapReduce实现复杂查询逻辑开发难度太大

2)Hive的好处?

(1)操作接口采用类SQL语法,提供快速开发的能力。?

(2)避免了去写MapReduce,减少开发人员的学习成本。?

(3)扩展功能很方便。

Hive架构概述

上图中,Hive通过给客户提供的一系列交互接口,接收到客户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapReduce,提交到Hadoop中执行,最后,将执行返回的结果输出到客户交互接口。

Hive 的特点

1)操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)?

2)避免了去写MapReduce,减少开发人员的学习成本。?

3)Hive的执行推迟比较高,因而hive常用于数据分析,对实时性要求不高的场合;?

4)Hive优势在于解决大数据,对于解决小数据没有优势,由于Hive的执行推迟比较高。?

5)Hive支持客户自己设置函数,客户可以根据自己的需求来实现自己的函数。

Hive和数据库比较

因为 Hive 采用了相似SQL 的查询语言 HQL(hive query language),因而很容易将 Hive 了解为数据库。其实从结构上来看,Hive 和数据库除了拥有相似的查询语言,再无相似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度了解 Hive 的特性。

牛!晓诚之家非常推荐这款大数据的伪SQL的查询工具!方便快捷!

推荐指数:5

感谢大家的支持!雅俗共赏!

【大数据开发学习资料领取方式】:加入大数据技术学习交流群458345782,点击加入群聊,私信管理员就可免费领取

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 从入门到放弃之大数据Hive

发表回复