spark01 主 10.61.187.24 spark02 从 10.61.187.20 vip: 10.61.187.51 在spark01与spark02部署 yum -y install haproxy keepalived -y # yum源已配置过了，此处直接安装即可 在spark01与spark02修改haproxy配置：vim /e…
haproxy+keepalived
Zookeeper完全分布式集群的搭建
一、集群模式 1、单机模式 在zoo.cfg中只配置一个server.id就是单机模式了。 这种模式下，如果当前主机宕机，那么所有依赖于当前zookeeper服务工作的其他服务器都不能在进行正常工作，这种事件称为单节点故障。所以这种模式一般用在测试环境。 2、伪分布式 在zoo.cfg中配置多个server.id，其中ip都是当前机器，而端口各不相…
Hadoop、Spark—完全分布式HA集群搭建
前言 完全分布式就是把Hadoop核心组件分开部署到不同的服务器节点上运行。 通常，建议HDFS和YARN以单独的用户身份运行。在大多数安装中，HDFS进程以“hdfs”执行。YARN通常使用“yarn”帐户。 hadoopHA集群的工作机制如下图： Hadoop HA集群总体上可以分为三部分：NameNode集群、JournalNode集群和Zo…