news 2026/4/14 20:26:14

解决hbase配置过程 shell命令不可用问题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
解决hbase配置过程 shell命令不可用问题

输入shell命令不可用

日志反复出现的FanOutOneBlockAsyncDFSOutputHelperIllegalArgumentException是一个经典的 HBase 2.4.x 与 Hadoop 3.3.x 的兼容性问题。

这是因为 HBase 在使用异步刷新(AsyncFS)写 WAL 日志时,与 Hadoop 3.x 内部的 Protobuf 处理方式发生了冲突。这就是为什么输入jps HMaster 虽在,但节点永远处于“正在初始化”且无法正常提供服务的原因。

解决步骤:

由于直接执行停止hbase命令会卡顿省略号很久

/export/server/hbase/bin/stop-hbase.sh

所以用杀死进程来清空之前错误的配置

1. 强制清理残留进程

既然stop-hbase.sh无效,请先彻底清理环境:

# 杀掉 node1 上的所有 HBase 相关进程 ps -ef | grep hbase | grep -v grep | awk '{print $2}' | xargs kill -9

如果在其他节点(node2, node3)也有进程,请同步清理。

2. 修改hbase-site.xml配置(关键!!!!)

需要关闭导致报错的“异步 WAL 写入”功能,让 HBase 使用传统的同步方式。

编辑文件:vi /export/server/hbase/conf/hbase-site.xml

<configuration>标签内添加以下属性:

<property> <name>hbase.wal.provider</name> <value>filesystem</value> </property>
  • 同步配置:如果有多个节点,请确保所有节点的hbase-site.xml都做了这个修改。

3.zkCli.sh也需要清空配置
/export/server/zookeeper/bin/zkCli.sh
  • 进入后执行清理(防止旧的 Master 锁干扰):

    deleteall /hbase quit
4. 重新启动并验证

按顺序启动:

  1. 启动 HDFS 和 ZooKeeper(如果之前关了的话)。

  2. 启动 HBase:

    start-hbase.sh
  3. 验证进程:在 node1 执行jps,确保HMasterHRegionServer同时存在。

  4. 验证 Shell:等待约 20 秒,进入hbase shell再次执行status。

  5. 截图成功

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/8 20:29:49

能否用于实时会议纪要生成?现场测试结果公布

能否用于实时会议纪要生成&#xff1f;现场测试结果公布 在远程办公和跨时区协作日益普遍的今天&#xff0c;一场两小时的会议结束后&#xff0c;谁来整理那长达十几页的语音转写稿&#xff1f;是让项目经理加班到深夜&#xff0c;还是依赖某位同事“凭记忆”写下几条模糊的待办…

作者头像 李华
网站建设 2026/4/12 15:42:05

43、Windows文件与磁盘实用工具全解析

Windows文件与磁盘实用工具全解析 1. 文件实用工具 1.1 流(Streams) NTFS 允许文件和目录拥有替代数据流(ADSes)。默认情况下,文件没有 ADSes,其内容存储在主无名流中。可以使用 filename:streamname 语法读写替代流。 例如,创建一个与 test.txt 文件关联的名为…

作者头像 李华
网站建设 2026/4/14 6:25:53

22、Windows Server 2012:备份恢复与高级文件服务指南

Windows Server 2012:备份恢复与高级文件服务指南 1. 备份与恢复相关 1.1 备份工具选择 在Windows Server环境中,有多种备份工具可供选择,不同工具适用于不同的备份需求: | 工具名称 | 功能描述 | 是否适用于特定备份类型 | | ---- | ---- | ---- | | Windows Server …

作者头像 李华
网站建设 2026/4/13 5:54:16

23、高级文件服务与存储技术详解

高级文件服务与存储技术详解 1. 高级文件服务 在当今的企业环境中,高效的文件服务和存储管理至关重要。以下将详细介绍一些关键的高级文件服务技术。 1.1 BranchCache BranchCache 允许分支机构的客户端在本地对等缓存或主机缓存中缓存从远程办公室服务器检索的文件共享文…

作者头像 李华
网站建设 2026/4/15 2:46:41

26、Windows Server 2012 高可用性集群与负载均衡技术解析

Windows Server 2012 高可用性集群与负载均衡技术解析 1. 集群技术的发展与现状 在过去,为确保 Exchange 和 SQL 等工作负载的高可用性,我们通常采用群集的方式部署它们。然而,如今这些产品自身已经具备了无需部署在故障转移集群上就能实现高可用性的技术,例如 AlwaysOn 可…

作者头像 李华
网站建设 2026/4/12 20:13:51

高频信号篇---电容与电感

第一部分&#xff1a;电容——电路中的“水库”与“阀门”你可以把电容想象成一个能储存电荷的小水库。它有两个口&#xff08;正负极&#xff09;&#xff0c;中间被一个绝缘的“水坝”&#xff08;电介质&#xff09;隔开。1. 隔直电容&#xff08;Blocking Capacitor / DC B…

作者头像 李华