您的位置 首页 java

Hadoop3.x集成HBase

HBase 作为 hadoop 家族中实现高并发的利器,我们来看看怎么进行集成。

1. 下载并上传到服务器

目前使用2.3.5版本

  wget  

#wget   

2. 解压

 tar zxvf  hbase -2.3.5-bin.tar.gz -C /app/

ln -s /app/hbase-2.3.5 /app/hbase  

3. 修改配置文件

3.1 修改hbase-env.sh

 export JAVA_HOME=/app/jdk1.8.0_281
#表示不引用hbase自带的 zookeeper ,用我们自己安装的
export HBASE_MANAGES_ZK=false
  

3.2 修改hbase-site.xml

 <!-- 参考文档:  -->
<!-- 指定 hbase 是分布式的 --> 
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<!-- hbase 在 zookeeper 中的缓冲的节点目录  -->
<property>
    <name>zookeeper.znode.parent</name>
    <value>/hbase</value>
</property>
<property>
    <!-- 指定 hbase 在  hdfs  上存储的路径 mycluster为hdfs的nameservice名称--> 
    <name>hbase.rootdir</name> 
    <value>hdfs://mycluster/hbase</value>
</property>
<property>
    <!-- 指定 zk 的地址,多个用","分割 --> 
    <name>hbase.zookeeper.quorum</name> 
    <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
</property>
  

3.3 修改regionservers

 hadoop101
hadoop102
hadoop103  

3.4 添加文件backup-masters

 echo "hadoop103" > /app/hbase/conf/backup-masters  

3.5 链接hdfs配置

 ln -s $HADOOP_HOME/etc/hadoop/core-site.xml /app/hbase/conf/core-site.xml
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml /app/hbase/conf/hdfs-site.xml  

3.6 添加环境变量

 sudo vi /etc/profile.d/env.sh
# 添加以下内容
export HBASE_HOME=/app/hbase
export PATH=$HBASE_HOME/bin:$PATH

# 刷新环境变量
source /etc/profile  

3.7 分发文件

 sudo /home/hadoop/bin/xsync /etc/profile.d/env.sh
xsync /app/hbase  

4. 启动集群

  1. 首先确保zookeeper和hdfs启动正常
 /app/hbase/bin/start-hbase.sh

/app/hbase/bin/stop-hbase.sh  
  1. 验证是否启动成功,访问地址:


关注本头条号并回复 hadoop ,获取完整文档

未完待续!

文章来源:智云一二三科技

文章标题:Hadoop3.x集成HBase

文章地址:https://www.zhihuclub.com/189926.shtml

关于作者: 智云科技

热门文章

网站地图