Pandas：缓慢的日期转换

Question

我正在读取一个巨大的CSV，其中包含格式为YYYYMMDD的日期字段，并且在读取时使用以下lambda将其转换：

import pandas as pd

df = pd.read_csv(filen,
                 index_col=None,
                 header=None,
                 parse_dates=[0],
                 date_parser=lambda t:pd.to_datetime(str(t),
                                            format='%Y%m%d', coerce=True))

不过这个功能很慢。

有什么改进的建议吗？

Answer 1

使用缓存优化日期分析

读取所有数据然后转换它总是比读取CSV时转换慢。因为如果您立即执行，就不需要对所有数据重复两次。你也不必把它作为字符串存储在内存中。

我们可以定义自己的日期解析器，它使用缓存来存储已经看到的日期。

import pandas as pd

cache = {}

def cached_date_parser(s):
    if s in cache:
        return cache[s]
    dt = pd.to_datetime(s, format='%Y%m%d', coerce=True)
    cache[s] = dt
    return dt

df = pd.read_csv(filen,
                 index_col=None,
                 header=None,
                 parse_dates=[0],
                 date_parser=cached_date_parser)

与@fixxer的答案具有相同的优点，只解析每个字符串一次，额外的好处是不必读取所有数据然后解析它。节省内存和处理时间。