Как проверить, является ли какое-либо значение NaN в фрейме данных Pandas
12 ответов
jwilner's ответ находится на месте. Я изучал, есть ли более быстрый вариант, так как по моему опыту, суммирование плоских массивов (странно) быстрее, чем подсчет. Этот код, кажется, быстрее:
df.isnull().values.any()
например:
In [2]: df = pd.DataFrame(np.random.randn(1000,1000))
In [3]: df[df > 0.9] = pd.np.nan
In [4]: %timeit df.isnull().any().any()
100 loops, best of 3: 14.7 ms per loop
In [5]: %timeit df.isnull().values.sum()
100 loops, best of 3: 2.15 ms per loop
In [6]: %timeit df.isnull().sum().sum()
100 loops, best of 3: 18 ms per loop
In [7]: %timeit df.isnull().values.any()
1000 loops, best of 3: 948 µs per loop
df.isnull().sum().sum()
немного медленнее, но, конечно, имеет дополнительную информацию -- количество NaNs
.
у вас есть несколько вариантов.
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10,6))
# Make a few areas have NaN values
df.iloc[1:3,1] = np.nan
df.iloc[5,3] = np.nan
df.iloc[7:9,5] = np.nan
теперь фрейм данных выглядит примерно так:
0 1 2 3 4 5
0 0.520113 0.884000 1.260966 -0.236597 0.312972 -0.196281
1 -0.837552 NaN 0.143017 0.862355 0.346550 0.842952
2 -0.452595 NaN -0.420790 0.456215 1.203459 0.527425
3 0.317503 -0.917042 1.780938 -1.584102 0.432745 0.389797
4 -0.722852 1.704820 -0.113821 -1.466458 0.083002 0.011722
5 -0.622851 -0.251935 -1.498837 NaN 1.098323 0.273814
6 0.329585 0.075312 -0.690209 -3.807924 0.489317 -0.841368
7 -1.123433 -1.187496 1.868894 -2.046456 -0.949718 NaN
8 1.133880 -0.110447 0.050385 -1.158387 0.188222 NaN
9 -0.513741 1.196259 0.704537 0.982395 -0.585040 -1.693810
-
1:
df.isnull().any().any()
- возвращает логическое значение
вы знаете isnull()
который вернет такой фрейм данных:
0 1 2 3 4 5
0 False False False False False False
1 False True False False False False
2 False True False False False False
3 False False False False False False
4 False False False False False False
5 False False False True False False
6 False False False False False False
7 False False False False False True
8 False False False False False True
9 False False False False False False
если вы делаете это df.isnull().any()
, вы можете найти только столбцы NaN
значения:
0 False
1 True
2 False
3 True
4 False
5 True
dtype: bool
еще один .any()
скажет вам, если любой из вышеперечисленныхTrue
> df.isnull().any().any()
True
-
2:
df.isnull().sum().sum()
- возвращает целое число от общего числаNaN
значения:
это работает так же, как .any().any()
делает, сначала давая суммирование числа NaN
значения в столбце, затем суммирование этих значений:
df.isnull().sum()
0 0
1 2
2 0
3 1
4 0
5 2
dtype: int64
наконец, чтобы получить общее количество значений NaN в таблице данных:
df.isnull().sum().sum()
5
чтобы узнать, какие строки имеют NaNs в определенном столбце:
nan_rows = df[df['name column'].isnull()]
Если вам нужно знать, сколько строк есть с "одним или более NaN
s":
df.isnull().T.any().T.sum()
или, если вам нужно вытащить эти строки и изучить их:
nan_rows = df[df.isnull().T.any().T]
добавление в Hobs блестящий ответ, я очень новичок в Python и панд, поэтому, пожалуйста, укажите, если я ошибаюсь.
чтобы узнать, какие строки имеют NaNs:
nan_rows = df[df.isnull().any(1)]
выполнит ту же операцию без необходимости транспонирования, указав ось any() как 1, чтобы проверить, присутствует ли "True" в строках.
поскольку никто не упоминал, есть только другая переменная под названием hasnans
.
df[i].hasnans
выводить True
если одно или несколько значений в серии pandas - NaN,False
если не. Обратите внимание, что это не функция.
панды версии "0.19.2" и "0.20.2"
С pandas
должен выяснить это для DataFrame.dropna()
, Я посмотрел, как они его реализуют, и обнаружил, что они используют DataFrame.count()
, который подсчитывает все ненулевые значения в DataFrame
. Ср. исходный код pandas. Я не сравнивал этот метод, но полагаю, что авторы библиотеки, вероятно, сделали мудрый выбор для того, как это сделать.
просто используя математика.isnan (x), возвращает True, если x-NaN (не число), и False в противном случае.
в зависимости от типа данных, с которыми вы имеете дело, вы также можете просто получить количество значений каждого столбца при выполнении EDA, установив dropna в False.
for col in df:
print df[col].value_counts(dropna=False)
работает хорошо для категориальных переменных, не так много, когда у вас есть много уникальных значений.
или вы можете использовать .info()
на DF
, например :
df.info(null_counts=True)
который возвращает количество ненулевых строк в Столбцах, таких как:
<class 'pandas.core.frame.DataFrame'>
Int64Index: 3276314 entries, 0 to 3276313
Data columns (total 10 columns):
n_matches 3276314 non-null int64
avg_pic_distance 3276314 non-null float64
вот еще один интересный способ найти null и заменить его вычисленным значением
#Creating the DataFrame
testdf = pd.DataFrame({'Tenure':[1,2,3,4,5],'Monthly':[10,20,30,40,50],'Yearly':[10,40,np.nan,np.nan,250]})
>>> testdf2
Monthly Tenure Yearly
0 10 1 10.0
1 20 2 40.0
2 30 3 NaN
3 40 4 NaN
4 50 5 250.0
#Identifying the rows with empty columns
nan_rows = testdf2[testdf2['Yearly'].isnull()]
>>> nan_rows
Monthly Tenure Yearly
2 30 3 NaN
3 40 4 NaN
#Getting the rows# into a list
>>> index = list(nan_rows.index)
>>> index
[2, 3]
# Replacing null values with calculated value
>>> for i in index:
testdf2['Yearly'][i] = testdf2['Monthly'][i] * testdf2['Tenure'][i]
>>> testdf2
Monthly Tenure Yearly
0 10 1 10.0
1 20 2 40.0
2 30 3 90.0
3 40 4 160.0
4 50 5 250.0