Как эффективно вычислить среднее "направление" пикселей в изображении в оттенках серого?

вычисление среднего значения углов, как правило, плохая идея:

...
        sum += Math.Atan2(yi, xi);
    }
}
double avg = sum / (img.Width * img.Height);

среднее значение набора углов не имеет четкого значения: например, среднее значение одного угла, указывающего вверх, и одного угла, указывающего вниз, является углом, указывающим вправо. Это то, что вы хотите? Предполагая, что "вверх" равно +PI, то среднее между двумя углами почти указывая вверх, будет угол, указывающий вниз, если один угол PI - [некоторое небольшое значение], другой-PI+[некоторое небольшое значение]. Возможно, это не то, чего ты хочешь. Кроме того, вы полностью игнорируете силу края - большинство пикселей в ваших реальных изображениях вообще не являются краями, поэтому направление градиента-это в основном шум.

Если вы хотите вычислить что-то вроде "среднего направления", вам нужно добавить векторы вместо углов, затем вычислить Atan2 после цикла. Проблема в том, что векторная сумма ничего не говорит вам об объектах внутри изображения, поскольку градиенты, указывающие в противоположных направлениях, отменяют друг друга. Он только что-то говорит о разнице в яркости между первой/последней строки и первого и последнего столбца изображения. Возможно, это не то, чего ты хочешь.

Я думаю, что самый простой способ ориентировать изображения-создать гистограмму угла: создать массив с (например) 360 ячейками для 360° градиентных направлений. Затем вычислите угол градиента и величину для каждого пикселя. Добавьте каждую величину градиента в прямоугольник. Это не даст вам ни одного угла, но угол-гистограмму, который затем может использоваться для ориентации двух изображений друг к другу с помощью простой циклической корреляции.

вот доказательство концепции реализации Mathematica, которую я собрал вместе, чтобы увидеть, будет ли это работать:

angleHistogram[src_] :=
 (
  Lx = GaussianFilter[ImageData[src], 2, {0, 1}];
  Ly = GaussianFilter[ImageData[src], 2, {1, 0}];
  angleAndOrientation = 
   MapThread[{Round[ArcTan[#1, #2]*180/\[Pi]], 
      Sqrt[#1^2 + #2^2]} &, {Lx, Ly}, 2];
  angleAndOrientationFlat = Flatten[angleAndOrientation, 1];
  bins = BinLists[angleAndOrientationFlat , 1, 5];
  histogram = 
   Total /@ Flatten[bins[[All, All, All, 2]], {{1}, {2, 3}}];
  maxIndex = Position[histogram, Max[histogram]][[1, 1]];
  Labeled[
   Show[
    ListLinePlot[histogram, PlotRange -> All],
    Graphics[{Red, Point[{maxIndex, histogram[[maxIndex]]}]}]
    ], "Maximum at " <> ToString[maxIndex] <> "\[Degree]"]
  )

результаты с образцами изображений:

угловые гистограммы также показывают, почему средний угол не может работать: гистограмма по существу представляет собой один острый пик, другие углы примерно одинаковы. Среднее значение этой гистограммы всегда будет будет преобладать равномерный "фоновый шум". Вот почему у вас почти одинаковый угол (около 180°) для каждого из "реальных живых" изображений с вашим текущим алгоритмом.

изображение дерева имеет один доминирующий угол (горизонт), поэтому в этом случае вы можете использовать режим гистограммы (наиболее частый угол). Но это не будет работать для каждого изображения:

здесь у вас есть два пика. Циклическая корреляция по-прежнему должна ориентировать два изображения на каждое других, но просто использовать режим, вероятно, недостаточно.

также обратите внимание, что пик в угловой гистограмме не "вверх": на изображении дерева выше пик в угловой гистограмме, вероятно, является горизонтом. Значит, он указывает вверх. На изображении Лены это вертикальная белая полоса на заднем плане - так что она указывает вправо. Просто ориентировать изображения используя самый частый угол будет не повернуть каждое изображение с правой стороны, указывая вверх.

Это изображение имеет еще больше пиков: использование режима (или, возможно, любого одного угла) было бы ненадежным для ориентации этого изображения. Но гистограмма угла в целом все равно должна дать вам надежную ориентацию.

Примечание: я не обрабатывал изображения, я не пробовал градиентные операторы в разных масштабах, я не обрабатывал полученную гистограмму. В реальном приложении, вы бы настроить все эти вещи, чтобы получить наилучший алгоритм для большого набора тестовых изображений. Это просто быстрый тест, чтобы увидеть, может ли идея работать вообще.

добавить: чтобы ориентировать два изображения с помощью этой гистограммы, вы бы

1. Нормализуйте все гистограммы, чтобы область под гистограммой была одинаковой для каждого изображения (даже если некоторые из них ярче, темнее или размытее)
2. возьмите гистограммы изображений и сравните их для каждого интересующего вас вращения в:

например, в C#:

for (int rotationAngle = 0; rotationAngle < 360; rotationAngle++)
{
   int difference = 0;
   for (int i = 0; i < 360; i++)
      difference += Math.Abs(histogram1[i] - histogram2[(i+rotationAngle) % 360]);
   if (difference < bestDifferenceSoFar)
   {
      bestDifferenceSoFar = difference;
      foundRotation = rotationAngle;
   }
}

(вы можете ускорить это с помощью FFT, если длина гистограммы равна двум. Но код будет намного сложнее, и для 256 бункеров это может не иметь большого значения)