通过部分字符串搜索整理Pandas DataFrame中的不规则行

Question

在从一个 .csv 文件导入数据后，我得到了一些数据，看起来像这样（虽然有成百上千的列和行）：

         4        5        6      7       8       9        10     11    12      13         14         15   16
0   302255Z  09005KT        1  1/4SM      BR     CLR  M00/M00  A3044   RMK    AO2A     SLP311  T10021002   $;
1   302232Z  08003KT        1    1/4      BR     CLR  M00/M00  A3044   RMK    AO2A     SLP310         $;  NaN
2   302225Z  09005KT        1  1/2SM      BR     CLR  M00/M00  A3044   RMK    AO2A     SLP309         $;  NaN
3   302155Z  08003KT        2  1/2SM      BR     CLR  M00/M00  A3043   RMK    AO2A     SLP306  T10001000   $;
4   302055Z  09004KT      3SM     BR     CLR   00/00    A3042    RMK  AO2A  SLP304  T00020002      56001   $;
5   301955Z  00000KT      3SM     BR     CLR   01/01    A3042    RMK  AO2A  SLP304  T00080008         $;  NaN
6   301855Z  09006KT      3SM     BR  FEW055   01/01    A3042    RMK  AO2A  SLP303  T00110011         $;  NaN
7   301655Z  10004KT        2  1/2SM      BR  FEW050  M00/M00  A3041   RMK    AO2A     SLP301  T10031003   $;
8   301610Z  09004KT        2  1/2SM      BR     CLR    00/00  A3041   RMK    AO2A     SLP301         $;  NaN
9   301555Z     AUTO  08005KT   4800      BR     CLR    01/01  A3041   RMK     AO2     SLP300  T00070007   $;
10  301509Z     AUTO  06003KT   4800      BR     CLR    01/01  A3041   RMK     AO2     SLP300         $;  NaN
11  301449Z     AUTO  10003KT   4000      BR     CLR    01/01  A3041   RMK     AO2     SLP300         $;  NaN
12  301355Z     AUTO  07004KT   6000      BR     CLR    02/02  A3041   RMK     AO2     SLP300  T00230023   $;
13  301255Z     AUTO  07003KT   6000      BR     CLR    02/02  A3041   RMK     AO2     SLP299  T00200020   $;
14  301055Z     AUTO  00000KT   9000      BR     CLR    04/04  A3040   RMK     AO2     SLP298  T00360036   $;

我放弃了尝试把所有东西都对齐。相反，我想创建一个新列，把第5列和第6列中那些以KT结尾的值合并在一起。同时，我还想为那些以T开头的值创建第二个新列。

首先，我尝试提取所有符合我条件的第5和第6行的数据，像这样：

df1=df[df[5].str.contains("KT")].iloc[:,[0,5]]
df2=df[df[6].str.contains("KT")].iloc[:,[0,6]]

这里的 .iloc 值是我试图把结果合并在一起的一个尝试。应该有更简单的方法来格式化这些数据。有什么想法吗？

如果有帮助的话，这里有一个更简单的数据集：

row1=['a','b','c1K','d','e','foo','foo','f1111T','g','$']
row2=['a','b','foo','c2K','d','e','f4321T','g','$','$']
row3=['a','b','c3K','d','e','f1234T','g','$']
df=ps.DataFrame(zip(row1,row2,row3)).T
df1=df[df[2].str.contains("K")].iloc[:,[0,2]]
df2=df[df[3].str.contains("K")].iloc[:,[0,3]]

尝试使用 ps.concat([df1,df2],axis=0,join='outer') 并没有得到我想要的结果，而是给了我：

   0    2    3
0  a  c1K  NaN
2  a  c3K  NaN
1  a  NaN  c2K

像这样会更好看：

      0   
1  a  c1K  
2  a  c3K 
3  a  c2K

相关问题：

• 在Pandas DataFrame中按条件合并行
• 合并两个具有相同列的DataFrame
• 基于标签在pandas dataframe中添加新列
• 如何在索引不匹配时对两个DataFrame的字段求和？
• 将pd.read_csv跳过的行保存到单独的DataFrame中
• 在Pandas中选择两个DataFrame之间的唯一行
• 如何防止pandas将我的整数值转换为浮点数？
• 根据字符串值排除pandas行

Answer 1

下面的操作可以一次性完成（使用loc，因为iloc不支持布尔遮罩）：

df1 = df[df[5].str.contains("KT")].iloc[:,[0,5]]

df1 = df.loc[df[5].str.contains("KT"), [0, 5]]

为了得到最终结果，你可以把这些合并成一个Series（这样可以避免对齐列），或者在合并之前先把列的名称改得更清楚一些：

df1.columns = ['letter', 'code']
df2.columns = ['letter', 'code']
pd.concat([df1, df2], axis=0, ignore_index=True)