Python pandas从字符串列的数据选择中筛选出nan

2020-12-02 19:54:37 发布

您现在位置:Python中文网/ 问答频道 /正文

不使用groupby我如何过滤掉不使用NaN的数据?

假设我有一个矩阵,客户填写“不适用”、“不适用”或其任何变体,而其他人将其留空:

import pandas as pd
import numpy as np


df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
                  'rating': [3., 4., 5., np.nan, np.nan, np.nan],
                  'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})

nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

输出:

>>> nms
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

我如何过滤出NaN值,以便得到这样的结果:

  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

我想我需要一些类似~np.isnan的东西,但是tilda不能用于字符串。

3条回答
网友
1楼 ·
df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})

for col in df.columns:
    df = df[~pd.isnull(df[col])]
网友
2楼 ·

放下它们:

nms.dropna(thresh=2)

这将删除至少有两个非-NaN的所有行。

然后您可以删除名称所在的位置NaN

In [87]:

nms
Out[87]:
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

[5 rows x 3 columns]
In [89]:

nms = nms.dropna(thresh=2)
In [90]:

nms[nms.name.notnull()]
Out[90]:
  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

[2 rows x 3 columns]

编辑

实际上,查看您最初想要的内容,就可以在不使用dropna调用的情况下执行此操作:

nms[nms.name.notnull()]

更新

3年后再看这个问题,有一个错误,首先^{}arg查找至少n个非NaN值,因此实际上输出应该是:

In [4]:
nms.dropna(thresh=2)

Out[4]:
  movie    name  rating
0   thg    John     3.0
1   thg     NaN     4.0
3   mol  Graham     NaN

可能是我3年前就搞错了,或者是我运行的熊猫版本有错误,这两种情况都是完全可能的。

网友
3楼 ·

最简单的解决方案:

filtered_df = df[df['name'].notnull()]

因此,它只过滤掉“name”列中没有NaN值的行。

对于多个列:

filtered_df = df[df[['name', 'country', 'region']].notnull().all(1)]

相关问题