从稀疏数据集中删除列和行

Question

我有一个带有许多空值的稀疏数据帧，我想对它进行过滤，以便在最终的数据集中只保留具有10个以上浮点项的行和列。我尝试过使用现有的代码片段，但似乎不起作用：

df.drop([col for col, val = df.count(axis=1, numeric_only='float') if val < 10], axis=1, inplace=True)

有人能告诉我在我的数据帧中删除稀疏列的最佳方法是什么吗

Answer 1

您可以获取每行和每列中未丢失的值的数量，检查其是否大于阈值，然后仅询问条件为真的行/值

kept_rows, kept_columns = df.isnull().sum(1)>10, df.isnull().sum(0)>10
df = df.loc[kept_rows, kept_columns]