使用pandas格式化生存分析数据

Question

我正在寻找一种快速的方法，将生存分析的数据转换成可以处理时间变化的变量的格式。简单来说，我想在Python中实现Stata里的stsplit功能。举个简单的例子，假设我们有以下信息：

id start end  x1  x2  exit
 1   0    18  12  11   1

这段信息告诉我们，一个观察从时间0开始，到时间18结束。Exit表示这是一次“死亡”，而不是右删失。x1和x2是随时间保持不变的变量。

id   t   age
 1   0    30
 1   7    40
 1   17   50

我想得到的是：

id start end  x1  x2  exit  age
 1   0    7   12  11   0    30
 1   7    17  12  11   0    40
 1   17   18  12  11   1    50

Exit在最后只有1，表示在t=18时发生了死亡。

Answer 1

这可以通过使用 lifelines 来实现，特别是它里面的 add_covariate_to_timeline 函数，这里有个例子。这个函数非常灵活，可以做一些像累加和这样的操作。

对于上面的例子：

"""
id start end  x1  x2  exit
 1   0    18  12  11   1
"""
long_df = pd.DataFrame([
    {'id': 1, 'start': 0, 'end': 18, 'x1': 12, 'x2': 11, 'exit': 1}
])


"""
id   t   age
 1   0    30
 1   7    40
 1   17   50
"""
tv_covariates = pd.DataFrame([
    {'id': 1, 't': 0, 'age': 30},
    {'id': 1, 't': 7, 'age': 40},
    {'id': 1, 't': 17, 'age': 50},
])

from lifelines.utils import add_covariate_to_timeline

add_covariate_to_timeline(long_df, tv_covariates, id_col='id', duration_col='t', event_col='exit', start_col='start', stop_col='end')

"""
   start  age    x1    x2   end  id   exit
0      0   30  12.0  11.0   7.0   1  False
1      7   40  12.0  11.0  17.0   1  False
2     17   50  12.0  11.0  18.0   1   True

"""

Answer 2

假设：

>>> df1
id  start   end x1  x2  exit
0   1   0   18  12  11  1

还有：

>>> df2
   id   t   age
0   1   0   30
1   1   7   40
2   1   17  50

你可以这样做：

df = df2.copy()                                 # start with df2
df['x1'] = df1.ix[0, 'x1']                      # x1 column
df['x2'] = df1.ix[0, 'x2']                      # x2 column
df.rename(columns={'t': 'start'}, inplace=True) # start column
df['end'] = df['start'].shift(-1)               # end column
df.ix[len(df)-1, 'end'] = df1.ix[0, 'end']
df['exit'] = 0                                  # exit column
df.ix[len(df)-1, 'exit'] = 1                     
df = df[['id', 'start', 'end', 'x1', 'x2', 'exit', 'age']] # reorder columns

输出结果：

>>> df
    id  start   end x1  x2  exit    age
0   1   0       7   12  11  0       30
1   1   7       17  12  11  0       40
2   1   17      18  12  11  1       50