文本使用的软件版本分别为：JDK：1.8.0_291，下载地址。Scala：2.12.14，下载地址。Hadoop：3.2.2，下载地址。Spark：3.1.2，下载地址。Python：3.9，Miniconda3，下载地址。按照虚拟环境准备 (Virtual Environment Preparation) 准备虚拟机。按照 Hadoop 集群搭建 (Hadoop Cluster Setup) 搭建 Hadoop 集群。本文以 Spark on YARN 模式介绍 Spark 集群的搭建。Scala 配置将 Scala 安装包解压缩到 /opt 目录并创建软链接：cd /opttar -zx……