Hive安装指南：基于Hadoop的分布式数据仓库

前言

本文将详细介绍Hive的安装配置过程，适用于搭建基于Hadoop的分布式数据仓库环境。内容将以真实操作为基础，提供实际安装的注意事项和解决方案。

Hive下载

在开始安装之前，需确保Hadoop版本与Hive兼容。推荐参考官方文档或社区资源，选择适合当前环境的Hive版本。以下操作基于Hadoop 2.7.3和Hive 2.0.1的示例环境。

下载Hive

# 解压Hive包[root@hadoop001 opt]# tar -xzf apache-hive-2.0.1-bin.tar.gz

授权Hive包

# 将Hive包授权给hadoop用户[root@hadoop001 opt]# chown -R hadoop:hadoop apache-hive-2.0.1-bin/

设置环境变量

切换到hadoop用户，并添加Hive路径到~/.bash_profile中：

[hadoop@hadoop001 ~]$ vim ~/.bash_profile

添加以下内容：

# Hive路径export HIVE_HOME=/opt/apache-hive-2.0.1-bin

应用环境变量：

[hadoop@hadoop001 ~]$ source ~/.bash_profile

Hive安装

1. 配置Hive元数据

Hive的元数据存储方式有多种，这里采用本地Mysql作为元数据存储。

安装Mysql

# 安装Mysql[hadoop@hadoop001 ~]$ yum -y install mysql-server

配置开机启动

# 配置开机启动[root@hadoop001 hadoop]# chkconfig mysqld on[root@hadoop001 hadoop]# service mysqld start

初始化Mysql

[root@hadoop001 hadoop]# mysqladmin -u root password 'hive'[root@hadoop001 hadoop]# mysql -uroot -p

执行以下SQL语句创建用户和数据库：

mysql -uroot -puse hive;create database hive;grant all privileges on hive.* to hive@'%' identified by 'hive';grant all privileges on hive.* to hive@'localhost' identified by 'hive';grant all privileges on hive.* to hive@'hadoop001' identified by 'hive';flush privileges;

2. 配置Hive

创建Hive的配置文件hive-site.xml，并将其放在$HIVE_HOME/conf目录下。

下载MySQL JDBC驱动

将MySQL JDBC驱动包复制到Hive的lib目录：

[root@hadoop001 lib]# mv /opt/soft/mysql-connector-java-5.1.17.jar /opt/apache-hive-2.0.1-bin/lib/

修改配置文件

修改hive-site.xml中的以下配置：


     
    
     javax.jdo.option.ConnectionURL
      
    
     jdbc:mysql://hadoop001:3306/hive
      
    
     JDBC连接字符串
    
   
     
    
     javax.jdo.option.ConnectionDriverName
      
    
     com.mysql.jdbc.Driver
      
    
     MySQL JDBC驱动
    
   
     
    
     javax.jdo.option.ConnectionPassword
      
    
     hive
      
    
     MySQL密码
    
   
     
    
     hive.hwi.listen.port
      
    
     3306
      
    
     Hive Web界面监听端口
    
   
     
    
     datanucleus.schema.autoCreateAll
      
    
     true
      
    
     元数据自动创建
    
   
     
    
     javax.jdo.option.ConnectionUserName
      
    
     hive
      
    
     MySQL用户名
    
   
     
    
     hive.exec.local.scratchdir
      
    
     /tmp/hive/iotmp
      
    
     Hive本地临时目录
    
   
     
    
     hive.downloaded.resources.dir
      
    
     /tmp/hive/iotmp
      
    
     下载资源临时目录
    
   
     
    
     hive.querylog.location
      
    
     /home/hdpsrc/hive/iotmp
      
    
     Hive查询日志存储目录

启动Hive

启动Hadoop

# 启动Hadoop集群[root@hadoop001 ~]$ start-dfs.sh

启动Hive

# 进入Hive命令界面[hadoop@hadoop001 conf]$ hive

创建测试表

# 创建测试表hive> create table test(x int);hive> show tables;

验证安装

通过MySQL查看元数据表：

# 进入MySQL[root@hadoop001 apache-hive-2.0.1-bin]# mysql -u root -puse hive;show tables;

查看表的详细信息：

show TBLS;

总结

以上步骤完成了Hive的安装和配置，确保了Hive能够在基于Hadoop的环境中正常运行。如果在安装过程中遇到问题，可参考Hive官方文档或相关技术社区求助。

转载地址：http://irvez.baihongyu.com/

你可能感兴趣的文章

PostGIS中获取所有EPSG的编码以及对应Proj4字符串