Эффективно подсчитывать количество вхождений уникальных подмножеств в NumPy?

у меня есть массив из формы (128, 36, 8) и я хотел бы найти количество вхождений уникальных подпространств длины 8 в последнем измерении.

Я в курсе np.unique и np.bincount, но и те, кажется, быть за элементы, а не подмассивы. Я видел этот вопрос но речь идет о поиске первого вхождения конкретного подпространства, а не о подсчетах всех уникальных подпространств.

8
arrays counting numpy python

3 ответов

в вопросе говорится, что входной массив имеет форму (128, 36, 8) и мы заинтересованы в поиске уникальных подмассивы длиной 8 в последнем измерении. Итак, я предполагаю, что уникальность заключается в том, что первые два измерения объединяются вместе. Предположим A как входной 3D массив.

получить количество уникальных подмассивов

# Reshape the 3D array to a 2D array merging the first two dimensions
Ar = A.reshape(-1,A.shape[2])

# Perform lex sort and get the sorted indices and xy pairs
sorted_idx = np.lexsort(Ar.T)
sorted_Ar =  Ar[sorted_idx,:]

# Get the count of rows that have at least one TRUE value 
# indicating presence of unique subarray there
unq_out = np.any(np.diff(sorted_Ar,axis=0),1).sum()+1

образец выполнения -

In [159]: A # A is (2,2,3)
Out[159]: 
array([[[0, 0, 0],
        [0, 0, 2]],

       [[0, 0, 2],
        [2, 0, 1]]])

In [160]: unq_out
Out[160]: 3

получить количество вхождений уникальных подмассивы

# Reshape the 3D array to a 2D array merging the first two dimensions
Ar = A.reshape(-1,A.shape[2])

# Perform lex sort and get the sorted indices and xy pairs
sorted_idx = np.lexsort(Ar.T)
sorted_Ar =  Ar[sorted_idx,:]

# Get IDs for each element based on their uniqueness
id = np.append([0],np.any(np.diff(sorted_Ar,axis=0),1).cumsum())

# Get counts for each ID as the final output
unq_count = np.bincount(id)

образец выполнения -

In [64]: A
Out[64]: 
array([[[0, 0, 2],
        [1, 1, 1]],

       [[1, 1, 1],
        [1, 2, 0]]])

In [65]: unq_count
Out[65]: array([1, 2, 1], dtype=int64)
3

здесь я изменил очень полезный ответ @Divakar, чтобы вернуть количество уникальных подзадач, а также самих подзадач, так что выход такой же, как у collections.Counter.most_common():

# Get the array in 2D form.
arr = arr.reshape(-1, arr.shape[-1])

# Lexicographically sort
sorted_arr = arr[np.lexsort(arr.T), :]

# Get the indices where a new row appears
diff_idx = np.where(np.any(np.diff(sorted_arr, axis=0), 1))[0]

# Get the unique rows
unique_rows = [sorted_arr[i] for i in diff_idx] + [sorted_arr[-1]]

# Get the number of occurences of each unique array (the -1 is needed at
# the beginning, rather than 0, because of fencepost concerns)
counts = np.diff(
    np.append(np.insert(diff_idx, 0, -1), sorted_arr.shape[0] - 1))

# Return the (row, count) pairs sorted by count
return sorted(zip(unique_rows, counts), key=lambda x: x[1], reverse=True)
1

Я не уверен, что это наиболее эффективный способ сделать это, но это должно работать.

arr = arr.reshape(128*36,8)
unique_ = []
occurence_ = []

for sub in arr:
    if sub.tolist() not in unique_:
        unique_.append(sub.tolist())
        occurence_.append(1)
    else:
        occurence_[unique_.index(sub.tolist())]+=1
for index_,u in unique_:
   print u,"occurrence: %s"%occurence_[index_]
0