Удаление строк с пустыми списками из фрейма данных pandas

у меня есть фрейм данных с некоторыми столбцами с пустыми списками и другими со списками строк:

       donation_orgs                              donation_context
0            []                                           []
1   [the research of Dr. ...]   [In lieu of flowers , memorial donations ...]

Я пытаюсь вернуть набор данных без каких-либо строк, где есть пустые списки.

Я попытался просто проверить значения null:

dfnotnull = df[df.donation_orgs != []]
dfnotnull

и

dfnotnull = df[df.notnull().any(axis=1)]
pd.options.display.max_rows=500
dfnotnull

и я попытался выполнить цикл и проверить существующие значения, но я думаю, что списки не возвращают Null или None, как я думал, они бы:

dfnotnull = pd.DataFrame(columns=('donation_orgs', 'donation_context'))
for i in range(0,len(df)):
    if df['donation_orgs'].iloc(i):
        dfnotnull.loc[i] = df.iloc[i]

все три вышеуказанных метода просто возвращают каждую строку в исходном фрейме данных.=

7
isnull list pandas python

4 ответов

вы можете попробовать нарезать, как если бы фрейм данных был строками, а не списками:

import pandas as pd
df = pd.DataFrame({
'donation_orgs' : [[], ['the research of Dr.']],
'donation_context': [[], ['In lieu of flowers , memorial donations']]})

df[df.astype(str)['donation_orgs'] != '[]']

Out[9]: 
                            donation_context          donation_orgs
1  [In lieu of flowers , memorial donations]  [the research of Dr.]
9

чтобы избежать преобразования str и фактически используйте lists, Вы можете сделать это:

df[df['donation_orgs'].map(lambda d: len(d)) > 0]

он сопоставляет до длина списков из каждой строки и сохраняет только те, которые имеют по крайней мере один элемент, отсеивая пустые списки.

возвращает

Out[1]: 
                            donation_context          donation_orgs
1  [In lieu of flowers , memorial donations]  [the research of Dr.]

как и ожидалось.

3

Я знаю, что это не самое лучшее решение (и даже не приятно), но я думаю, что это работает:

import numpy as np

df = pd.read_csv('yoursamplefile.csv')

df = df.replace('[]', np.nan)

df.dropna(how='any', inplace=True)

в основном я бы заменил пустые тормозные списки на NaN и затем падение в соответствии с вашим правилом. Это работает, читая пример файла из файла, на самом деле я не знаю, содержит ли dataframe пустые списки как "[] " или просто пустые значения.

1

вы можете использовать следующую команду:

df[(df['donation_orgs'].str.len() != 0) | (df['donation_context'].str.len() != 0)]
1