Chiriri's blog Chiriri's blog
首页
  • Java

    • JavaSE
    • JavaEE
    • 设计模式
  • Python

    • Python
    • Python模块
    • 机器学习
  • Golang

    • Golang
    • gRPC
  • 服务器

    • Linux
    • MySQL
    • NoSQL
    • Kubernetes
  • 项目

    • 传智健康
    • 畅购商城
  • Hadoop生态

    • Hadoop
    • Zookeeper
    • Hive
    • Flume
    • Kafka
    • Azkaban
    • Hbase
    • Scala
    • Spark
    • Flink
  • 大数据项目

    • 离线数仓
  • 青训营

    • 第四届青训营
  • HTML

    • HTML
    • JavaScript
  • Vue

    • Vue2
    • TypeScript
    • Vue3
    • Uni-APP
  • 数据结构与算法
  • C语言
  • 考研数据结构
  • 计算机组成原理
  • 计算机操作系统
  • Java基础

    • Java基础
    • Java集合
    • JUC
    • JVM
  • 框架

    • Spring
    • Dubbo
    • Spring Cloud
  • 数据库

    • MySQL
    • Redis
    • Elasticesearch
  • 消息队列

    • RabbitMQ
    • RocketMQ
  • 408

    • 计算机网络
    • 操作系统
    • 算法
  • 分类
  • 标签
  • 归档
  • 导航站
GitHub (opens new window)

Iekr

苦逼后端开发
首页
  • Java

    • JavaSE
    • JavaEE
    • 设计模式
  • Python

    • Python
    • Python模块
    • 机器学习
  • Golang

    • Golang
    • gRPC
  • 服务器

    • Linux
    • MySQL
    • NoSQL
    • Kubernetes
  • 项目

    • 传智健康
    • 畅购商城
  • Hadoop生态

    • Hadoop
    • Zookeeper
    • Hive
    • Flume
    • Kafka
    • Azkaban
    • Hbase
    • Scala
    • Spark
    • Flink
  • 大数据项目

    • 离线数仓
  • 青训营

    • 第四届青训营
  • HTML

    • HTML
    • JavaScript
  • Vue

    • Vue2
    • TypeScript
    • Vue3
    • Uni-APP
  • 数据结构与算法
  • C语言
  • 考研数据结构
  • 计算机组成原理
  • 计算机操作系统
  • Java基础

    • Java基础
    • Java集合
    • JUC
    • JVM
  • 框架

    • Spring
    • Dubbo
    • Spring Cloud
  • 数据库

    • MySQL
    • Redis
    • Elasticesearch
  • 消息队列

    • RabbitMQ
    • RocketMQ
  • 408

    • 计算机网络
    • 操作系统
    • 算法
  • 分类
  • 标签
  • 归档
  • 导航站
GitHub (opens new window)
  • Hadoop

  • Zookeeper

  • Hive

  • Flume

  • Kafka

  • Azkaban

  • Hbase

    • Hbase
    • Hbase数据模型
    • Hbase 安装
      • Hbase配置文件
      • 高可用
    • Hbase shell
    • Hbase原理
    • Phoenix
    • Hbase与Hive的集成
    • HBase优化
  • Scala

  • Spark

  • Flink

  • 离线数仓

  • 青训营

  • DolphinScheduler

  • Doris

  • 大数据
  • Hbase
Iekr
2021-10-15
目录

Hbase 安装

# Hbase 安装

先保证 Zookeeper 集群的正常部署和 Hadoop 集群正常 并启动

zkServer.sh start
start-dfs.sh
start-yarn.sh #yarn可以不启动
1
2
3

安装

cd /opt/software
tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module/
cd /opt/module/
mv hbase-2.0.5/ hbase
1
2
3
4

配置环境变量

sudo vim /etc/profile.d/my_env.sh
1
#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin
1
2
3
source /etc/profile.d/my_env.sh
1

# Hbase 配置文件

cd /opt/module/hbase/conf/
vim hbase-env.sh
1
2

第 125 行 关闭 HBASE 自带的 zookeeper 默认会使用

export HBASE_MANAGES_ZK=false
1

修改 hbase-site.xml

vim hbase-site.xml
1
<!-- hbase数据存放在hdfs上哪个目录下 -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop102:8020/hbase</value>
  </property>
<!-- 是否使用完全分布式hbase -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
<!--  zookeeper连接地址 -->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop102,hadoop103,hadoop104</value>
  </property>
<!--  兼容性配置 -->
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <!--  兼容性配置 -->
<property>
<name>hbase.wal.provider</name>
<value>filesystem</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

修改 regionservers 有几台集群机器

vim regionservers 
1
hadoop102
hadoop103
hadoop104
1
2
3

软连接 hadoop 配置文件到 Hbase 也可不配置 只要环境变量配置正确即可

ln -s /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
ln -s /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml
1
2

删除日志冲突

rm /opt/module/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar
1

分发 hbase

xsync /opt/module/hbase/
sudo xsync /etc/profile.d/my_env.sh
1
2

群启 hbase 如果集群之间的节点时间不同步,会导致 regionserver 无法启动,抛出 ClockOutOfSyncException 异常。

start-hbase.sh
1

访问 web 页面 http://hadoop102:16010/master-status

# 高可用

关闭 HBase 集群

stop-hbase.sh
1

在 conf 目录下创建 backup-masters 文件

cd /opt/module/hbase/conf/
touch backup-masters
1
2

在 backup-masters 文件中配置高可用 HMaster 节点

echo hadoop103 > backup-masters
1

同步文件

xsync /opt/module/hbase/conf/backup-masters
start-hbase.sh
1
2

查看 web 页面 http://hadoop102:16010/

编辑 (opens new window)
上次更新: 2023/12/06, 01:31:48
Hbase数据模型
Hbase shell

← Hbase数据模型 Hbase shell→

最近更新
01
k8s
06-06
02
进程与线程
03-04
03
计算机操作系统概述
02-26
更多文章>
Theme by Vdoing | Copyright © 2022-2025 Iekr | Blog
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式