如何使用python日志库从PySpark应用程序登录到HDFS

Question

如何使用标准日志库登录HDFS。更具体地说，我使用的timedrotingfilehandler如下所示：

FORMATTER = logging.Formatter("%(asctime)s — %(name)s — %(levelname)s — %(message)s")
LOG_FILE = 'hdfs://node01:8022/tmp/test/run_dev.log'
def get_file_handler():
   file_handler = TimedRotatingFileHandler(LOG_FILE, when='midnight')
   file_handler.setFormatter(FORMATTER)
   return file_handler
def get_logger(logger_name):
   logger = logging.getLogger(logger_name)
   if (logger.hasHandlers()): logger.handlers.clear() 
   logger.addHandler(get_file_handler())
   logger.propagate = False
   return logger

然而，似乎我不能通过完全合格的HDFS路径，正如我所期望的那样。我得到了

^{pr2}$

有什么方法可以实现这个功能吗？在