一、准备 1.1 软件版本 Ubuntu 16.04.6 (ubuntu-16.04.6-server-amd64.iso) JDK 1.8 (jdk-8u201-linux-x64.tar.gz) Hadoop 2.7.7 (hadoop-2.7.7.tar.gz) Spark 2.1.0 (spark-2.1.0-bin-hadoop2.7.t…
hadoop集群+spark集群部署
Spark运行架构
一 Spark与hadoop Hadoop有两个核心模块，分布式存储模块HDFS和分布式计算模块Mapreduce Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HDFS，但 Spark 不依赖 Hadoop。 Hadoop的Mapreduce与spark都可…
hadoop原理分析
hadoop原理分析：强烈推荐阅读：https://www.saoniuhuo.com/article/detail-1124.html hadoop集群 如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。 1、NameNode： 是Master节点，是大…