配置Spark不同任务driver日志输出到不同文件

配置Spark不同任务driver日志输出到不同文件

第一步：配置log4j.properties输出文件名设为一个占位符：

log4j.appender.DRFA.File=log/${logfilename}.log

第二步：在spark-submit时传递一个参数：

—driver-java-options "-Dlogfilename=${JOB_NAME}"

通过设置JOB_NAME的值来动态设置任务log输出文件。