Как подсчитать количество строк в группе (и другую статистику) в pandas group by?

у меня есть фрейм данных df и я использую несколько столбцов из его groupby:

df['col1','col2','col3','col4'].groupby(['col1','col2']).mean()

выше я почти получаю таблицу (фрейм данных), которая мне нужна. Отсутствует дополнительный столбец, содержащий количество строк в каждой группе. Другими словами, Я имею в виду, но я также хотел бы знать, сколько номеров было использовано для получения этих средств. Например, в первой группе есть 8 значений, а во второй 10 и так далее.

3 ответов


On


Короткий Ответ:

самый простой способ получить количество строк в группе по телефону .size(), который возвращает Series:

df.groupby(['col1','col2']).size()


Обычно вы хотите, чтобы этот результат был DataFrame (вместо Series) так что вы можете сделать:

df.groupby(['col1', 'col2']).size().reset_index(name='counts')


Если вы хотите узнать, как рассчитать количество строк и другую статистику по каждой группе, продолжайте читать ниже.


подробно пример:

рассмотрим следующий пример таблицы данных:

In [2]: df
Out[2]: 
  col1 col2  col3  col4  col5  col6
0    A    B  0.20 -0.61 -0.49  1.49
1    A    B -1.53 -1.01 -0.39  1.82
2    A    B -0.44  0.27  0.72  0.11
3    A    B  0.28 -1.32  0.38  0.18
4    C    D  0.12  0.59  0.81  0.66
5    C    D -0.13 -1.65 -1.64  0.50
6    C    D -1.42 -0.11 -0.18 -0.44
7    E    F -0.00  1.42 -0.26  1.17
8    E    F  0.91 -0.47  1.35 -0.34
9    G    H  1.48 -0.63 -1.14  0.17

сначала давайте использовать .size() получить количество строк:

In [3]: df.groupby(['col1', 'col2']).size()
Out[3]: 
col1  col2
A     B       4
C     D       3
E     F       2
G     H       1
dtype: int64

тогда давайте использовать .size().reset_index(name='counts') получить количество строк:

In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]: 
  col1 col2  counts
0    A    B       4
1    C    D       3
2    E    F       2
3    G    H       1


включая результаты для получения дополнительной статистики

когда вы хотите рассчитать статистику по сгруппированным данным, она обычно выглядит так:

In [5]: (df
   ...: .groupby(['col1', 'col2'])
   ...: .agg({
   ...:     'col3': ['mean', 'count'], 
   ...:     'col4': ['median', 'min', 'count']
   ...: }))
Out[5]: 
            col4                  col3      
          median   min count      mean count
col1 col2                                   
A    B    -0.810 -1.32     4 -0.372500     4
C    D    -0.110 -1.65     3 -0.476667     3
E    F     0.475 -0.47     2  0.455000     2
G    H    -0.630 -0.63     1  1.480000     1

результат выше немного раздражает, чтобы иметь дело из-за вложенных меток столбцов, а также из-за того, что количество строк находится на основе каждого столбца.

чтобы получить больший контроль над выходом, я обычно разделяю статистику на отдельные агрегаты, которые затем объединяю с помощью join. Выглядит это так:

In [6]: gb = df.groupby(['col1', 'col2'])
   ...: counts = gb.size().to_frame(name='counts')
   ...: (counts
   ...:  .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
   ...:  .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
   ...:  .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
   ...:  .reset_index()
   ...: )
   ...: 
Out[6]: 
  col1 col2  counts  col3_mean  col4_median  col4_min
0    A    B       4  -0.372500       -0.810     -1.32
1    C    D       3  -0.476667       -0.110     -1.65
2    E    F       2   0.455000        0.475     -0.47
3    G    H       1   1.480000       -0.630     -0.63



сноски

код, используемый для генерации тестовых данных ниже:
In [1]: import numpy as np
   ...: import pandas as pd 
   ...: 
   ...: keys = np.array([
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['E', 'F'],
   ...:         ['E', 'F'],
   ...:         ['G', 'H'] 
   ...:         ])
   ...: 
   ...: df = pd.DataFrame(
   ...:     np.hstack([keys,np.random.randn(10,4).round(2)]), 
   ...:     columns = ['col1', 'col2', 'col3', 'col4', 'col5', 'col6']
   ...: )
   ...: 
   ...: df[['col3', 'col4', 'col5', 'col6']] = \
   ...:     df[['col3', 'col4', 'col5', 'col6']].astype(float)
   ...: 


отказ от ответственности:

если некоторые из столбцов, которые вы агрегируете, имеют нулевые значения, то вы действительно хотите, чтобы строка группы считалась независимой агрегацией для каждого столбца. В противном случае вы можете быть введены в заблуждение относительно того, сколько записей на самом деле используется для расчета таких вещей, как средняя, потому что панды упадет NaN записи в среднем расчете, не говоря вам об этом.


мы можем легко сделать это, используя groupby и count. Но мы должны помнить об использовании reset_index ().

df[['col1','col2','col3','col4']].groupby(['col1','col2']).count().\
reset_index()