关闭Spark 2.0的日志记录+

Question

我确实遵循了现有的stackoverflow link，不过，如果从源代码安装了Spark，则接受的答案是有效的。在

但是，我通过pip安装了pyspark，结果我无法找到conf/log4j.properties.template以便禁用日志信息。在

我正在使用来自同一链接的以下替代解决方案：

def quiet_logs( sc ):
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )

上面的解决方案仍然允许终端上的启动和关闭Spark信息的日志，如果我能够更新conf/log4j.properties.template，则不会发生这种情况。在

如有任何建议，我们将不胜感激。在

Answer 1

您可以在调用命令时覆盖pyspark的默认log4j配置，不需要修改全局文件。创建一个名为log4j-quiet.properties和内容的文件：

log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

然后启动pyspark：

^{pr2}$

启动和关闭时的记录信息也将消失。在