Hadoop3 + HBase2 集群搭建
在虚拟机上搭建Hadoop+HBase集群
下图配置的虚拟机*3,来搭建集群
之前是在我吃灰的公网服务器上搭的,服务器网络环境比较复杂:共有三台公网服务器,两台处于同一内网,第三台单独在外网
搭建的时候Hadoop监听ip0.0.0.0
,没有问题,集群可以正常访问,3台DataNodes全部在线;
但是搭建HBase的时候,如果Master监听0.0.0.0
,就无法作为clinet访问hdfs://0.0.0.0:9000;如果Master监听127.0.0.1
,就无法作为server向外网(这里指除loopback之外)广播本机端口导致zookeeper通信失败。如果都配置为外网ip,则根本无法监听。。。
笔者使用的腾讯云服务器类似亚马逊的EC2,问题详见
以及:
搞了两天最后发现是这个NAT公网ip的问题,tears~
服务器上即使全写公网ip也不行,因为这种奇葩的NAT转换会导致服务无法直接监听自己的公网ip,换虚拟机正常的局域网ip就没问题,祭奠这两天来对着黑窗口看过的所有日志😭
如果头铁的话,应该也可以配置这种带NAT的复杂的内外网网络集群,只是针对每台主机需要单独配置hosts和对应的监听/访问地址配置。