Удаление повторяющихся столбцов и строк из 2D-массива NumPy
Я использую массив 2D-формы для хранения пар долгот+широт. В какой-то момент я должен объединить два из этих 2D-массивов, а затем удалить любую дублированную запись. Я искал функцию, похожую на numpy.уникальный, но мне не повезло. Любая реализация я думая о выглядит очень "unoptimizied". Например, я пытаюсь преобразовать массив в список кортежей, удалить дубликаты с помощью set, а затем снова преобразовать в массив:
coordskeys = np.array(list(set([tuple(x) for x in coordskeys])))
там любые существующие решения, поэтому я не изобретаю колесо?
чтобы было понятно, я ищу:
>>> a = np.array([[1, 1], [2, 3], [1, 1], [5, 4], [2, 3]])
>>> unique_rows(a)
array([[1, 1], [2, 3],[5, 4]])
кстати, я хотел использовать только список кортежей для него, но списки были настолько большими, что они потребляли мой 4GB RAM + 4GB swap (массивы numpy более эффективны для памяти).
6 ответов
вот одна идея, это займет немного работы, но может быть довольно быстро. Я дам вам случай 1d и позволю вам выяснить, как расширить его до 2d. Следующая функция находит уникальные элементы массива 1d:
import numpy as np
def unique(a):
a = np.sort(a)
b = np.diff(a)
b = np.r_[1, b]
return a[b != 0]
Теперь, чтобы расширить его до 2d, вам нужно изменить две вещи. Вам нужно будет выяснить, как сделать сортировку самостоятельно, важная вещь о сортировке будет заключаться в том, что две идентичные записи заканчиваются рядом друг с другом. Во-вторых, вам нужно что-то делать как (b != 0).all(axis)
потому что вы хотите сравнить всю строку/столбец. Дай мне знать, если этого будет достаточно, чтобы начать.
обновлено: с некоторой помощью с Дагом, я думаю, что это должно работать для 2d-случая.
import numpy as np
def unique(a):
order = np.lexsort(a.T)
a = a[order]
diff = np.diff(a, axis=0)
ui = np.ones(len(a), 'bool')
ui[1:] = (diff != 0).any(axis=1)
return a[ui]
Это должно сделать трюк:
def unique_rows(a):
a = np.ascontiguousarray(a)
unique_a = np.unique(a.view([('', a.dtype)]*a.shape[1]))
return unique_a.view(a.dtype).reshape((unique_a.shape[0], a.shape[1]))
пример:
>>> a = np.array([[1, 1], [2, 3], [1, 1], [5, 4], [2, 3]])
>>> unique_rows(a)
array([[1, 1],
[2, 3],
[5, 4]])
мой метод заключается в превращении 2d-массива в 1D-сложный массив, где реальная часть-1-й столбец, мнимая часть-2-й столбец. Затем используйте НП.уникальный. Хотя это будет работать только с 2 колонок.
import numpy as np
def unique2d(a):
x, y = a.T
b = x + y*1.0j
idx = np.unique(b,return_index=True)[1]
return a[idx]
пример
a = np.array([[1, 1], [2, 3], [1, 1], [5, 4], [2, 3]])
unique2d(a)
array([[1, 1],
[2, 3],
[5, 4]])
>>> import numpy as NP
>>> # create a 2D NumPy array with some duplicate rows
>>> A
array([[1, 1, 1, 5, 7],
[5, 4, 5, 4, 7],
[7, 9, 4, 7, 8],
[5, 4, 5, 4, 7],
[1, 1, 1, 5, 7],
[5, 4, 5, 4, 7],
[7, 9, 4, 7, 8],
[5, 4, 5, 4, 7],
[7, 9, 4, 7, 8]])
>>> # first, sort the 2D NumPy array row-wise so dups will be contiguous
>>> # and rows are preserved
>>> a, b, c, d, e = A.T # create the keys for to pass to lexsort
>>> ndx = NP.lexsort((a, b, c, d, e))
>>> ndx
array([1, 3, 5, 7, 0, 4, 2, 6, 8])
>>> A = A[ndx,]
>>> # now diff by row
>>> A1 = NP.diff(A, axis=0)
>>> A1
array([[0, 0, 0, 0, 0],
[4, 3, 3, 0, 0],
[0, 0, 0, 0, 0],
[0, 0, 0, 1, 0],
[0, 0, 1, 0, 0],
[2, 5, 0, 2, 1],
[0, 0, 0, 0, 0],
[0, 0, 0, 0, 0]])
>>> # the index array holding the location of each duplicate row
>>> ndx = NP.any(A1, axis=1)
>>> ndx
array([False, True, False, True, True, True, False, False], dtype=bool)
>>> # retrieve the duplicate rows:
>>> A[1:,:][ndx,]
array([[7, 9, 4, 7, 8],
[1, 1, 1, 5, 7],
[5, 4, 5, 4, 7],
[7, 9, 4, 7, 8]])
на numpy_indexed пакет (отказ от ответственности: я его автор) обертывает решение, опубликованное user545424 в хорошем и проверенном интерфейсе, а также многие связанные с ним функции:
import numpy_indexed as npi
npi.unique(coordskeys)
так как вы ссылаетесь на numpy.уникальный, вы не заботитесь о поддержании первоначального порядка, правильно? преобразование в набор, который удаляет дубликат, а затем обратно в список часто используется идиома:
>>> x = [(1, 1), (2, 3), (1, 1), (5, 4), (2, 3)]
>>> y = list(set(x))
>>> y
[(5, 4), (2, 3), (1, 1)]
>>>