Spark Standalone Mode 在 Win10 下搭建开发调试环境，standalonewin10

系统环境变量配置

Java Env

略， 确保在cmd终端可以运行java

C:\windows\system32>java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Scala Env

scala download 下载 scala 安装包 scala-2.12.4.zip for windows 解压

配置系统环境变量， 系统 >> 高级系统设置 >> 高级 >> 环境变量：

• 新建系统变量SCALA_HOME
  

• 编辑系统变量PATH
  新建 内容： %SCALA_HOME%/bin

运行cmd终端：

C:\windows\system32>echo %SCALA_HOME%
D:\hadoop-env\scala-2.12.4

C:\windows\system32>scala -version
Scala code runner version 2.12.4 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc.

Hadoop Env

可以通过 git 下载 Windows binaries for Hadoop versions

配置环境变量

• 新建变量 HADOOP_HOME
  

• 编辑变量PATH ，进行新建： %HADOOP_HOME%/bin

运行终端cmd：

C:\windows\system32>winutils --help
Usage: winutils [command] ...
Provide basic command line utilities for Hadoop on Windows.

The available commands and their usages are:

chmod          Change file mode bits.

Usage: chmod [OPTION] OCTAL-MODE [FILE]
   or: chmod [OPTION] MODE [FILE]
Change the mode of the FILE to MODE.
...

Spark Env

在 Download Apache Spark 下载 spark-2.2.0-bin-hadoop2.7.tgz 压缩包，进行解压

配置环境变量：

• 新建环境变量 SPARK_HOME
  

• 编辑变量PATH ，进行新建： %SPARK_HOME%/bin

在cmd 命令行中运行 spark-shell , 默认以 local 模式运行：

命令行窗口运行 Cluster

• 启动 Master
  在窗口1中运行： spark-class2.cmd org.apache.spark.deploy.master.Master

• 启动Slave
  在窗口2中运行： spark-class2.cmd org.apache.spark.deploy.worker.Worker spark://192.168.200.1:7077

• Standalone 运行状态
  在浏览器中查看运行状态输入： http://192.168.200.1:8080/
  

Standalone 模式样例运行

创建一个Spark项目， 通过 IntelliJ IDEA , 通过在代码中指定 Master 地址 spark://192.168.200.1:7077

package com.borey.spark

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession

/**
  *
  * Created by Borey.Zhu on 2017/11/16.
  */

object Test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setMaster("spark://192.168.200.1:7077")
      .setAppName("Standalone Test")

    val sc = new SparkContext(conf)
    // 使用windows文件目录通过在路径前面添加file前缀
    val rdd1 = sc.textFile("file:\\D:\\hadoop-env\\data\\*.txt")
    println(rdd1.count())
    sc.stop()
  }
}

运行 Test， 成功 打印输出统计数目为 3：

代码追踪

通过在代码中进行添加断点， 以Debug（ Shift + F9）模式运行, 可以Trace代码运行: