Ambari安装HUE

Hue(Hadoop User Experience)是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。

1 安装包

在安装前,请获取如下表所示的安装包:

安装包名称 下载地址
hue-3.11.0.tgz http://gethue.com/downloads/hue-3.11.0.tgz

安装准备

本节介绍HUE安装前的准备。

2.1 上传软件包

请执行如下命令上传并解压安装包。

  • 将安装包hue-3.11.0.tgz上传到以下目录中
/var/www/html/HDP/centos7/2.6.4.0-91/hue

/var/www/html/HDP-UTILS/hue
  • 添加hue用户
groupadd hue

useradd -m hue

echo hue | passwd --stdin hue

sed -i 'N;94a\hue ALL=NOPASSWD:ALL' /etc/sudoers
  • 创建hue目录
mkdir -p /usr/local/hue

chown -R hue:hue /usr/local/hue

2.2 安装HUE依赖包

通过yum安装HUE依赖包,如果其他节点也是用HUE,也需要安装一下依赖包。

yum install gcc  gcc-c++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant cyrus-sasl-plain gmp-devel  libffi-devel openldap-devel asciidoc libyaml-devel pycrypto saslwrapper-devel rsync  python-psycopg2  krb5-devel python-simplejson openssl

2.3 HUE纳入Ambari的管理

在ambari主机节点上执行以下命令:

VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`

rm -rf /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE

2.4 在PostgreSQL添加hue信息

在ambari主机节点上执行以下命令:

#su postgers

$psql

create user hue with password 'Zetyun2018' ;

create database hue with owner hue ;

grant all privileges on database hue to hue ;

2.5 httpfs安装

yum install hadoop-httpfs

systemctl start hadoop-httpfs

2.6 重启Ambari Server

在ambari主机节点上执行以下命令:

Systemctl resart ambari-server

2.7 Hue纳入Ambari的管理

在ambari主机节点上执行以下命令:

VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`

rm -rf /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE

HUE安装

本节介绍HUE安装后的检查事项及其步骤。

3.1 通过Ambari安装HUE

  • Ambari安装HUE

重启Ambari Server服务后可通过,可通过web管理进行安装HUE。

然后选择“Next”可完成安装。

3.2 手动安装HUE

如果通过ambari安装失败,需要手动进行编译安装:

  • Hue编译安装
tar -zxvf hue-3.11.0.tgz -C /usr/local

cd /usr/local/hue3.11.0

cd /usr/local/hue3.11.0

PREFIX=/usr/local

make install 

# 安装过程没有报错则说明安装成功,/usr/local/hue/build/env/bin/目录如下就表明安装成功。
  • 初始化数据库
cd /usr/local/hue

source build/env/bin/activate

hue syncdb --noinput

hue migrate
  • 配置HUE
# 修改配置文件/usr/local/hue/desktop/conf/hue.ini

[desktop]

  secret_key=beijing 

  server_user=hue

  server_group=hue

default_user=hue

default_hdfs_superuser=hdfs

app_blacklist=spark,zookeeper,search,impala,sqoop,rdbms,pig,oozie,hbase

allowed_hosts=*




[[database]]

    engine=postgresql_psycopg2

    host=172.20.20.14

    port=5432

    user=hue

    password=hue

    name=hue

    schema=public




[hadoop]

  [[hdfs_clusters]]

    [[[default]]]

      fs_defaultfs=hdfs://172.20.20.13:8020    

      webhdfs_url=http://172.20.20.13:50070/webhdfs/v1

  [[yarn_clusters]]

    [[[default]]]

      resourcemanager_host=172.20.20.14

[beeswax]

  hive_server_host=172.20.20.14

  hive_server_port=10000

  [[database]]

    

    engine=postgresql_psycopg2

    host=172.20.20.14

    port=5432

    user=hue

    password=hue

    name=hue

    schema=public

3.3hadoop配置

Hive配置

HDFS配置

HUE配置,开启需要的服务模块。

3.4 重启Ambari Server

在ambari主机节点上执行以下命令:

Systemctl resart ambari-server

发表评论