Как проверить, является ли какое-либо значение NaN в фрейме данных Pandas

в Python Pandas, каков наилучший способ проверить, имеет ли фрейм данных одно (или несколько) значений NaN?

Я знаю о функции pd.isnan, но это возвращает фрейм данных логических значений для каждого элемента. этот пост прямо здесь тоже не совсем отвечает на мой вопрос.

267
nan pandas python

12 ответов

jwilner's ответ находится на месте. Я изучал, есть ли более быстрый вариант, так как по моему опыту, суммирование плоских массивов (странно) быстрее, чем подсчет. Этот код, кажется, быстрее:

df.isnull().values.any()

например:

In [2]: df = pd.DataFrame(np.random.randn(1000,1000))

In [3]: df[df > 0.9] = pd.np.nan

In [4]: %timeit df.isnull().any().any()
100 loops, best of 3: 14.7 ms per loop

In [5]: %timeit df.isnull().values.sum()
100 loops, best of 3: 2.15 ms per loop

In [6]: %timeit df.isnull().sum().sum()
100 loops, best of 3: 18 ms per loop

In [7]: %timeit df.isnull().values.any()
1000 loops, best of 3: 948 µs per loop

df.isnull().sum().sum() немного медленнее, но, конечно, имеет дополнительную информацию -- количество NaNs.

311

у вас есть несколько вариантов. 

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10,6))
# Make a few areas have NaN values
df.iloc[1:3,1] = np.nan
df.iloc[5,3] = np.nan
df.iloc[7:9,5] = np.nan

теперь фрейм данных выглядит примерно так:

          0         1         2         3         4         5
0  0.520113  0.884000  1.260966 -0.236597  0.312972 -0.196281
1 -0.837552       NaN  0.143017  0.862355  0.346550  0.842952
2 -0.452595       NaN -0.420790  0.456215  1.203459  0.527425
3  0.317503 -0.917042  1.780938 -1.584102  0.432745  0.389797
4 -0.722852  1.704820 -0.113821 -1.466458  0.083002  0.011722
5 -0.622851 -0.251935 -1.498837       NaN  1.098323  0.273814
6  0.329585  0.075312 -0.690209 -3.807924  0.489317 -0.841368
7 -1.123433 -1.187496  1.868894 -2.046456 -0.949718       NaN
8  1.133880 -0.110447  0.050385 -1.158387  0.188222       NaN
9 -0.513741  1.196259  0.704537  0.982395 -0.585040 -1.693810
  • 1: df.isnull().any().any() - возвращает логическое значение

вы знаете isnull() который вернет такой фрейм данных:

       0      1      2      3      4      5
0  False  False  False  False  False  False
1  False   True  False  False  False  False
2  False   True  False  False  False  False
3  False  False  False  False  False  False
4  False  False  False  False  False  False
5  False  False  False   True  False  False
6  False  False  False  False  False  False
7  False  False  False  False  False   True
8  False  False  False  False  False   True
9  False  False  False  False  False  False

если вы делаете это df.isnull().any(), вы можете найти только столбцы NaN значения:

0    False
1     True
2    False
3     True
4    False
5     True
dtype: bool

еще один .any() скажет вам, если любой из вышеперечисленныхTrue

> df.isnull().any().any()
True
  • 2: df.isnull().sum().sum() - возвращает целое число от общего числа NaN значения:

это работает так же, как .any().any() делает, сначала давая суммирование числа NaN значения в столбце, затем суммирование этих значений:

df.isnull().sum()
0    0
1    2
2    0
3    1
4    0
5    2
dtype: int64

наконец, чтобы получить общее количество значений NaN в таблице данных:

df.isnull().sum().sum()
5
109

чтобы узнать, какие строки имеют NaNs в определенном столбце:

nan_rows = df[df['name column'].isnull()]
31

Если вам нужно знать, сколько строк есть с "одним или более NaNs":

df.isnull().T.any().T.sum()

или, если вам нужно вытащить эти строки и изучить их:

nan_rows = df[df.isnull().T.any().T]
25

df.isnull().any().any() должны сделать это.

19

добавление в Hobs блестящий ответ, я очень новичок в Python и панд, поэтому, пожалуйста, укажите, если я ошибаюсь.

чтобы узнать, какие строки имеют NaNs:

nan_rows = df[df.isnull().any(1)]

выполнит ту же операцию без необходимости транспонирования, указав ось any() как 1, чтобы проверить, присутствует ли "True" в строках.

12

поскольку никто не упоминал, есть только другая переменная под названием hasnans.

df[i].hasnans выводить True если одно или несколько значений в серии pandas - NaN,False если не. Обратите внимание, что это не функция.

панды версии "0.19.2" и "0.20.2"

10

С pandas должен выяснить это для DataFrame.dropna(), Я посмотрел, как они его реализуют, и обнаружил, что они используют DataFrame.count(), который подсчитывает все ненулевые значения в DataFrame. Ср. исходный код pandas. Я не сравнивал этот метод, но полагаю, что авторы библиотеки, вероятно, сделали мудрый выбор для того, как это сделать.

7

просто используя математика.isnan (x), возвращает True, если x-NaN (не число), и False в противном случае.

4

в зависимости от типа данных, с которыми вы имеете дело, вы также можете просто получить количество значений каждого столбца при выполнении EDA, установив dropna в False. 

for col in df:
   print df[col].value_counts(dropna=False)

работает хорошо для категориальных переменных, не так много, когда у вас есть много уникальных значений.

1

или вы можете использовать .info() на DF, например :

df.info(null_counts=True) который возвращает количество ненулевых строк в Столбцах, таких как:

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3276314 entries, 0 to 3276313
Data columns (total 10 columns):
n_matches                          3276314 non-null int64
avg_pic_distance                   3276314 non-null float64
1

вот еще один интересный способ найти null и заменить его вычисленным значением

    #Creating the DataFrame

    testdf = pd.DataFrame({'Tenure':[1,2,3,4,5],'Monthly':[10,20,30,40,50],'Yearly':[10,40,np.nan,np.nan,250]})
    >>> testdf2
       Monthly  Tenure  Yearly
    0       10       1    10.0
    1       20       2    40.0
    2       30       3     NaN
    3       40       4     NaN
    4       50       5   250.0

    #Identifying the rows with empty columns
    nan_rows = testdf2[testdf2['Yearly'].isnull()]
    >>> nan_rows
       Monthly  Tenure  Yearly
    2       30       3     NaN
    3       40       4     NaN

    #Getting the rows# into a list
    >>> index = list(nan_rows.index)
    >>> index
    [2, 3]

    # Replacing null values with calculated value
    >>> for i in index:
        testdf2['Yearly'][i] = testdf2['Monthly'][i] * testdf2['Tenure'][i]
    >>> testdf2
       Monthly  Tenure  Yearly
    0       10       1    10.0
    1       20       2    40.0
    2       30       3    90.0
    3       40       4   160.0
    4       50       5   250.0
0