数据挖掘算法中的前瞻时间分析

Question

我有一个文件（几十列和数百万行），基本上是这样的：

customerID VARCHAR(11)
accountID VARCHAR(11)
snapshotDate Date
isOpen Boolean
...

文件中的一条记录可能如下所示：

1,100,200901,1,...
1,100,200902,1,...
1,100,200903,1,...
1,100,200904,1,...
1,100,200905,1,...
1,100,200906,1,...
...
1,100,201504,1,...
1,100,201505,1,...
1,100,201506,1,...

当账户关闭时，可能会发生两件事。通常，数据中不存在该记录的其他快照。有时会继续添加更多记录，但isOpen标志将设置为0。你知道吗

我想添加一个额外的布尔列，称为“closedInYr”，它的值为0，除非帐户在快照日期后一年内关闭。你知道吗

我的解决方法又慢又恶心。它接受每条记录，在12个月内向前计数，如果它发现一条customerID、accountID和isOpen设置为1的记录，则在“closedInYr”字段中用0填充该记录，否则用1填充该字段。它可以工作，但性能是不可接受的，我们有许多这样的文件处理。你知道吗

关于如何实施这个有什么想法吗？我使用R，但我愿意用Perl、Python或除COBOL或VB以外的任何语言编写代码。你知道吗

谢谢

Answer 1

我建议使用Linux“date”命令将日期转换为unix时间戳。 Unix时间戳是自1970年1月1日以来经过的秒数。所以基本上一年是60秒，60米，24小时，256秒。所以，如果时间戳之间的差异大于这个数字，那么它就长于一年。你知道吗

它将是这样的：

>date  date='201106' "+%s"
1604642400

因此，如果您使用perl，这是一种非常酷的文件处理语言，您将用几行代码解析整个文件，并使用eval“you date command”。你知道吗