Hive的metastore安装配置方式
Hive 的 metastore 安装方式共有三种
1)内嵌模式
使用内嵌的derby
数据库储存元数据, 默认即为内嵌模式
运行hive会在当前目录生成一个derby
文件和一个metastore_db
目录
同一个目录下同时只能有一个hive用户端能使用数据库, 适合用来测试, 不适用于生产环境
需要在 Hive 根目录下的 conf 文件夹中创立 hive-site.xml
文件并增加如下配置:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=metastore_db;create=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.apache.derby.jdbc.EmbeddedDriver</value> </property> <property> <name>hive.metastore.local</name> <value>true</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> </configuration>
2)本地模式
本地安装 MySQL替代 derby
存储元数据, 不再使用内嵌的 derby
作为元数据的存储介质,而是使用其余数据库比方 MySQL 来存储元数据
Hive 服务和 metastore 服务运行在同一个进程中, MySQL 是单独的进程, 可以同一台机器, 也可以在远程机器上
需要将 MySQL 的驱动 jar 包拷贝到 $HIVE_HOME/lib
目录下, 并启动 MySQL 服务
hive-site.xml
配置如下
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.warehouse.dir</name> //数据库储存路径 <value>/user/hive_remote/warehouse</value> </property> <property> <name>hive.metastore.local</name> //本地模式 <value>true</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> //所连接的 MySQL 数据库的地址 <value>jdbc:mysql://localhost/hive_local?createDatabaseIfNotExist=true</value> //问号后固定格式防止定时任务报错</property> <property> <name>javax.jdo.option.ConnectionDriverName</name> // MySQL 驱动 <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> //数据库账户 <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> //数据库密码 <value>password</value> </property> </configuration>
3)远程模式(HiveServer2)
Hive 服务和 metastore 在不同的进程内, 可能是不同的机器, 该模式需要将 hive.metastore.uris
设置为 metastore 服务器URL
使用三台机器模拟:
host1 Mysql 服务端
host2 Hive 服务端
host3 Hive 用户端
需要修改 HIve 服务端和用户端的hive-site.xml
配置文件
host2 下的hive-site.xml
配置(服务端)
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.warehouse.dir</name> //数据库储存路径 <value>/user/hive_remote/warehouse</value> </property> <property> <name>hive.metastore.local</name> //本地模式 <value>true</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> //所连接的 MySQL 数据库的地址 <value>jdbc:mysql://host1:3306/hive?createDatabaseIfNotExist=true</value> //指定MySQL服务所在地址</property> <property> <name>javax.jdo.option.ConnectionDriverName</name> // MySQL 驱动 <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> //数据库账户 <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> //数据库密码 <value>password</value> </property> </configuration>
host3 下的 hive-site.xml 配置(用户端)
<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl" href="configuration.xsl"?><configuration><property> <name>hive.metastore.warehouse.dir</name> //数据库储存路径 <value>/user/hive_remote/warehouse</value> </property> <property> <name>hive.metastore.local</name> //注意这里是false, 不是本地模式 <value>false</value> </property> <property> <name>hive.metastore.uris</name> //注意这里是false, 不是本地模式 <value>thrift://host2:9083</value> </property> </configuration>
假如有多个 metastore 服务器, 将 URL 之间用逗号分隔, metastore 服务器 URL 的格式为 thrift:host:port thrift://127.0.0.1:9083
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Hive的metastore安装配置方式
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Hive的metastore安装配置方式