有个小技巧：先配置好一个，在（宿主机上）复制scp -r拷贝Spark到其他Slaves。,【在test-cluster-hap-master-01虚拟主机上】,将已下载好的Spark压缩包（spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt.tgz）通过工具【XFtp】拷贝到虚拟主机的opt目录下：,在容器映射目录下 ：/opt/data/test-cluster-spk-slave-01/data,用Xftp上传包,
,这里需要上传两个，使用的是spark-3.1.1-bin-without-hadoop.tgz,但是需要将spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt下的jars包移到/usr/local/spark-3.1.1/jars下,,,,编辑全局变量,增加以下全局变量,即时生效,（4）配置workers,,,（宿主机上）复制scp -r拷贝Spark到其他Slaves节点：,如执行命令出现出现问题时，请现在相应的Slave节点执行mkdir -p /usr/local/spark,复制到master-02时，使用start-mater.sh启动master-02,原本是访问http://10.8.46.35:8080 就可，但是我这里在配置镜像的时候，多了8080，导致这里访问不了。看日志可以知道，已经走向8081,所以http://10.8.46.35:8081/即可,这里遇到了许多问题，第一个是包不兼容，导致搭建两次失败,,然后换了官方的包spark-3.1.1-bin-without-hadoop，启动还是有问题。,最后通过替换jars才成功。（使用spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt下的jars）,done~
文章版权声明
1 原创文章作者：cmcc，如若转载，请注明出处： https://www.52hwl.com/26340.html
2 温馨提示：软件侵权请联系469472785#qq.com（三天内删除相关链接）资源失效请留言反馈
3 下载提示：如遇蓝奏云无法访问，请修改lanzous(把s修改成x)
4 免责声明：本站为个人博客，所有软件信息均来自网络 修改版软件，加群广告提示为修改者自留，非本站信息，注意鉴别
微信扫一扫 
支付宝扫一扫 