检查pandas中的dataframe列中是否包含某些值

Question

我正在尝试检查某个值是否包含在python列中。我正在使用df.date.isin(['07311954'])，这无疑是一个很好的工具。问题是我有超过350K行，输出将不会显示 所有这些都是为了让我知道这个值是否被包含。简单地说，我只想知道（Y/N）列中是否包含特定值。我的代码如下：

import numpy as np
import pandas as pd
import glob


df = (pd.read_csv('/home/jayaramdas/anaconda3/Thesis/FEC_data/itpas2_data/itpas214.txt',\
    sep='|', header=None, low_memory=False, names=['1', '2', '3', '4', '5', '6', '7', \
    '8', '9', '10', '11', '12', '13', 'date', '15', '16', '17', '18', '19', '20', \
    '21', '22']))

df.date.isin(['07311954'])

Answer 1

我认为您需要^{}，如果您需要date列的值包含字符串07311954的行：

print df[df['date'].astype(str).str.contains('07311954')]

或者如果date列的type是string：

print df[df['date'].str.contains('07311954')]

如果要检查string1954列中date的最后4位：

print df[df['date'].astype(str).str[-4:].str.contains('1954')]

样品：

print df['date']
0    8152007
1    9262007
2    7311954
3    2252011
4    2012011
5    2012011
6    2222011
7    2282011
Name: date, dtype: int64

print df['date'].astype(str).str[-4:].str.contains('1954')
0    False
1    False
2     True
3    False
4    False
5    False
6    False
7    False
Name: date, dtype: bool

print df[df['date'].astype(str).str[-4:].str.contains('1954')]
     cmte_id trans_typ entity_typ state  employer  occupation     date  \
2  C00119040       24K        CCM    MD       NaN         NaN  7311954   

   amount     fec_id    cand_id  
2    1000  C00140715  H2MD05155  

Answer 2

您可以使用any：

print any(df.column == 07311954)
True       #true if it contains the number, false otherwise

如果您更想知道列中发生了多少次'07311954'，则可以使用：

df.column[df.column == 07311954].count()

Answer 3

您只需使用：

'07311954' in df.date.values返回True或False

---

下面是进一步的解释：

在pandas中，使用in直接检查数据帧和序列（例如val in df或val in series）将检查val是否包含在索引中。

但您仍然可以使用in检查它们的值（而不是索引）！只是使用val in df.col_name.values 或者val in series.values。这样，您实际上是用Numpy数组检查val。

而.isin(vals)则相反，它检查数据帧/序列值是否在中。这里vals必须是集合或类似列表的。所以这不是解决这个问题的自然方法。