Замена значений средствами groupby

У меня есть фрейм данных со столбцом, который имеет некоторые плохие данные с различными отрицательными значениями. Я хотел бы заменить значения

для отсутствующих значений, как NAs, я бы сделал:

data = df.groupby(['GroupID']).column
data.transform(lambda x: x.fillna(x.mean()))

но как сделать эту операцию при условии, как x < 0?

спасибо!

6
pandas pandas-groupby python

4 ответов

используя пример @AndyHayden, вы можете использовать groupby/transform С replace:

df = pd.DataFrame([[1,1],[1,-1],[2,1],[2,2]], columns=list('ab'))
print(df)
#    a  b
# 0  1  1
# 1  1 -1
# 2  2  1
# 3  2  2

data = df.groupby(['a'])
def replace(group):
    mask = group<0
    # Select those values where it is < 0, and replace
    # them with the mean of the values which are not < 0.
    group[mask] = group[~mask].mean()
    return group
print(data.transform(replace))
#    b
# 0  1
# 1  1
# 2  1
# 3  2
8

вот один из способов сделать это (для 'b' столбец, в этом скучном примере):

In [1]: df = pd.DataFrame([[1,1],[1,-1],[2,1],[2,2]], columns=list('ab'))
In [2]: df
Out[2]: 
   a  b
0  1  1
1  1 -1
2  2  1
3  2  2

замените эти отрицательные значения на NaN, а затем вычислите среднее (b) в каждой группе:

In [3]: df['b'] = df.b.apply(lambda x: x if x>=0 else pd.np.nan)
In [4]: m = df.groupby('a').mean().b

затем использовать apply в каждой строке, чтобы заменить каждый NaN с его группами означает:

In [5]: df['b'] = df.apply(lambda row: m[row['a']]
                                       if pd.isnull(row['b'])
                                       else row['b'],
                           axis=1) 
In [6]: df
Out[6]: 
   a  b
0  1  1
1  1  1
2  2  1
3  2  2
2

есть отличный пример для вашего дополнительного вопроса. 

df = pd.DataFrame({'A' : [1, 1, 2, 2], 'B' : [1, -1, 1, 2]})
gb = df.groupby('A')
def replace(g):
   mask = g < 0
   g.loc[mask] = g[~mask].mean()
   return g
gb.transform(replace)

ссылка:http://pandas.pydata.org/pandas-docs/stable/cookbook.html

1

у меня была такая же проблема и придумал довольно простое решение

func = lambda x : np.where(x < 0, x.mean(), x)

df['Bad_Column'].transform(func)

обратите внимание, что если вы хотите вернуть среднее из правильных значений (среднее, основанное только на положительных значениях), вам нужно будет указать:

func = lambda x : np.where(x < 0, x.mask(x < 0).mean(), x)
1