Spark UI で参照している S3 のパスを変更する

CloudFormation で Spark UI 用に EC2 インスタンスを作成後に、参照する S3 のパスを変更する手順。

• /opt/spark/conf/spark-defaults.conf の spark.history.fs.logDirectory を編集する

spark.eventLog.enabled                      true
spark.history.fs.logDirectory               s3a://spark-ui/ap-northeast-1/eventlog ★
spark.history.ui.port                       0
spark.ssl.historyServer.enabled             true
spark.ssl.historyServer.port                8192
spark.ssl.historyServer.keyStorePassword    ********
spark.ssl.historyServer.keyStore            /home/ec2-user/ec2-13-***-***-250.ap-northeast-1.compute.amazonaws.com.jks

• Spark History Server を再起動する

$ sudo systemctl restart spark-history-server.service