начнем с ответа на первый вопрос:

Вопрос 1

почему я получаю ValueError: Index contains duplicate entries, cannot reshape

это происходит потому, что панды пытаются переиндексировать либо columns или index объект с повторяющимися записями. Существуют различные методы, которые могут выполнить сведение. Некоторые из них не подходят, когда есть дубликаты ключей, в которых его просят повернуть. Например. Считать pd.DataFrame.pivot. Я знаю есть повторяющиеся записи, которые разделяют row и col значения:

df.duplicated(['row', 'col']).any()

True

когда я pivot используя

df.pivot(index='row', columns='col', values='val0')

я получаю ошибку, упомянутых выше. Фактически, я получаю ту же ошибку, когда пытаюсь выполнить ту же задачу с:

df.set_index(['row', 'col'])['val0'].unstack()

вот список идиом, которые мы можем использовать для поворота

1. pd.DataFrame.groupby + pd.DataFrame.unstack
   • хороший общий подход для выполнения практически любого типа pivot
   • вы указываете все столбцы, которые будут составлять уровни сводных строк и уровней столбцов в одной группе по. Вы следуете этому, выбирая оставшиеся столбцы, которые вы хотите агрегировать, и функции, которые вы хотите выполнить агрегацию. И, наконец,unstack уровни, которые вы хотите быть в столбце индекс.
2. pd.DataFrame.pivot_table
   • прославленная версия groupby С более интуитивным API. Для многих людей это предпочтительный подход. И это предполагаемый подход разработчиков.
   • укажите уровень строки, уровни столбцов, значения для агрегирования и функцию(ы) для выполнения агрегирования.
3. pd.DataFrame.set_index + pd.DataFrame.unstack
   • удобный и понятный для некоторых (включая меня). Не удается обработать повторяющиеся сгруппированные ключи.
   • аналогично groupby парадигма, мы указываем все столбцы, которые в конечном итоге будут либо уровнями строк, либо столбцов, и устанавливаем их в качестве индекса. Мы тогда unstack уровни, которые мы хотим в Столбцах. Если остальные уровни индекса или столбцов не являются уникальными, этот метод будет неудача.
4. pd.DataFrame.pivot
   • очень похоже на set_index в том, что он разделяет дубликат ключа ограничения. API также очень ограничен. Он принимает только скалярные значения для index, columns, values.
   • аналогично pivot_table метод, в котором мы выбираем строки, столбцы и значения для поворота. Однако мы не можем агрегировать, и если строки или столбцы не уникальны, этот метод потерпеть неудачу.
5. pd.crosstab
   • это специализированная версия pivot_table и в чистом виде это самый интуитивный способ выполнения нескольких задач.
6. pd.factorize + np.bincount
   • это очень продвинутая техника, которая очень неясна, но очень быстра. Этого не может быть. используется при любых обстоятельствах, но когда он может быть использован, и вам удобно его использовать, вы пожнете плоды производительности.
7. pd.get_dummies + pd.DataFrame.dot
   • я использую это для умного выполнения перекрестной табуляции.

примеры

что я собираюсь делать для каждого последующего ответа и вопрос чтобы ответить на него, используя pd.DataFrame.pivot_table. Затем я предоставлю Альтернативы для выполнения той же задачи.

Вопрос 3

как сделать поворот df такое, что col значения колонок row значения-это индекс, среднее значение val0 являются значениями, А отсутствующие значения 0?

• pd.DataFrame.pivot_table

  • fill_value по умолчанию не задано. Я склонен устанавливать его соответствующим образом. В в этом случае я установил его в 0. Заметьте, я пропустил вопрос 2 поскольку это то же самое, что и этот ответ без fill_value

  • aggfunc='mean' по умолчанию, и мне не нужно было его устанавливать. Я включил его для ясности.

    df.pivot_table(
        values='val0', index='row', columns='col',
        fill_value=0, aggfunc='mean')
    
    col   col0   col1   col2   col3  col4
    row                                  
    row0  0.77  0.605  0.000  0.860  0.65
    row2  0.13  0.000  0.395  0.500  0.25
    row3  0.00  0.310  0.000  0.545  0.00
    row4  0.00  0.100  0.395  0.760  0.24
    

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)
  

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='mean').fillna(0)
  

Вопрос 4

могу ли я получить что-то другое, кроме mean, например,sum?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc='sum')
  
  col   col0  col1  col2  col3  col4
  row                               
  row0  0.77  1.21  0.00  0.86  0.65
  row2  0.13  0.00  0.79  0.50  0.50
  row3  0.00  0.31  0.00  1.09  0.00
  row4  0.00  0.10  0.79  1.52  0.24
  

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)
  

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='sum').fillna(0)
  

Вопрос 5

могу ли я сделать больше одной агрегации за раз?

обратите внимание, что для pivot_table и cross_tab мне нужно было передать список callables. С другой стороны,--72--> способен принимать строки для ограниченного числа специальных функций. groupby.agg также взял бы те же вызываемые объекты, которые мы передали другим, но часто более эффективно использовать имена строковых функций, поскольку есть эффективность достигнутый.

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc=[np.size, np.mean])
  
       size                      mean                           
  col  col0 col1 col2 col3 col4  col0   col1   col2   col3  col4
  row                                                           
  row0    1    2    0    1    1  0.77  0.605  0.000  0.860  0.65
  row2    1    0    2    1    2  0.13  0.000  0.395  0.500  0.25
  row3    0    1    0    2    0  0.00  0.310  0.000  0.545  0.00
  row4    0    1    2    2    1  0.00  0.100  0.395  0.760  0.24
  

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)
  

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')
  

Вопрос 6

могу ли я агрегировать несколько столбцов значений?

• pd.DataFrame.pivot_table проходим values=['val0', 'val1'] но мы могли бы оставить это полностью

  df.pivot_table(
      values=['val0', 'val1'], index='row', columns='col',
      fill_value=0, aggfunc='mean')
  
        val0                             val1                          
  col   col0   col1   col2   col3  col4  col0   col1  col2   col3  col4
  row                                                                  
  row0  0.77  0.605  0.000  0.860  0.65  0.01  0.745  0.00  0.010  0.02
  row2  0.13  0.000  0.395  0.500  0.25  0.45  0.000  0.34  0.440  0.79
  row3  0.00  0.310  0.000  0.545  0.00  0.00  0.230  0.00  0.075  0.00
  row4  0.00  0.100  0.395  0.760  0.24  0.00  0.070  0.42  0.300  0.46
  

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)
  

Вопрос 7

можно разделить на несколько столбцов?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns=['item', 'col'],
      fill_value=0, aggfunc='mean')
  
  item item0             item1                         item2                   
  col   col2  col3  col4  col0  col1  col2  col3  col4  col0   col1  col3  col4
  row                                                                          
  row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.605  0.86  0.65
  row2  0.35  0.00  0.37  0.00  0.00  0.44  0.00  0.00  0.13  0.000  0.50  0.13
  row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.000  0.28  0.00
  row4  0.15  0.64  0.00  0.00  0.10  0.64  0.88  0.24  0.00  0.000  0.00  0.00
  

• pd.DataFrame.groupby

  df.groupby(
      ['row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
  

Вопрос 8

можно разделить на несколько колонны?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index=['key', 'row'], columns=['item', 'col'],
      fill_value=0, aggfunc='mean')
  
  item      item0             item1                         item2                  
  col        col2  col3  col4  col0  col1  col2  col3  col4  col0  col1  col3  col4
  key  row                                                                         
  key0 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.86  0.00
       row2  0.00  0.00  0.37  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.50  0.00
       row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.00  0.00  0.00
       row4  0.15  0.64  0.00  0.00  0.00  0.00  0.00  0.24  0.00  0.00  0.00  0.00
  key1 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.81  0.00  0.65
       row2  0.35  0.00  0.00  0.00  0.00  0.44  0.00  0.00  0.00  0.00  0.00  0.13
       row3  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.28  0.00
       row4  0.00  0.00  0.00  0.00  0.10  0.00  0.00  0.00  0.00  0.00  0.00  0.00
  key2 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.40  0.00  0.00
       row2  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.13  0.00  0.00  0.00
       row4  0.00  0.00  0.00  0.00  0.00  0.64  0.88  0.00  0.00  0.00  0.00  0.00
  

• pd.DataFrame.groupby

  df.groupby(
      ['key', 'row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
  

• pd.DataFrame.set_index потому что набор ключей уникален как для строк, так и для столбцов

  df.set_index(
      ['key', 'row', 'item', 'col']
  )['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)
  

Вопрос 9

могу ли я агрегировать частоту, в которой столбец и строки происходят вместе, он же " крест табуляция"?

• pd.DataFrame.pivot_table

  df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size')
  
      col   col0  col1  col2  col3  col4
  row                               
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1
  

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)
  

• pd.cross_tab

  pd.crosstab(df['row'], df['col'])
  

• pd.factorize + np.bincount

  # get integer factorization `i` and unique values `r`
  # for column `'row'`
  i, r = pd.factorize(df['row'].values)
  # get integer factorization `j` and unique values `c`
  # for column `'col'`
  j, c = pd.factorize(df['col'].values)
  # `n` will be the number of rows
  # `m` will be the number of columns
  n, m = r.size, c.size
  # `i * m + j` is a clever way of counting the 
  # factorization bins assuming a flat array of length
  # `n * m`.  Which is why we subsequently reshape as `(n, m)`
  b = np.bincount(i * m + j, minlength=n * m).reshape(n, m)
  # BTW, whenever I read this, I think 'Bean, Rice, and Cheese'
  pd.DataFrame(b, r, c)
  
        col3  col2  col0  col1  col4
  row3     2     0     0     1     0
  row2     1     2     1     0     2
  row0     1     0     1     2     1
  row4     2     2     0     1     1
  

• pd.get_dummies

  pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col']))
  
        col0  col1  col2  col3  col4
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1