EmguCV: нарисуйте контур на объекте в движении с помощью оптического потока?

Я хотел бы сделать обнаружение движения в C# (используя EmguCV 3.0), чтобы удалить объект в движении или на переднем плане, чтобы нарисовать наложение.

вот образец теста, который я сделал с Kinect (потому что это камера глубины) Démo with Kinect

как я могу начать работу с EmguCV 3.0 ?

  • Я пробовал много кода удаления фона, которые не работают
  • кажется, OpticalFlow-хорошее начало, но в EmguCV 3.0 нет примера si
  • если я найду самый большой blob как я могу найти его контуры ?

может кто-нибудь помочь мне начать ?

изменить: 17/06/2015

В EmguCV3.0.0 RC я не вижу OpticalFlow в пакете и документации: http://www.emgu.com/wiki/files/3.0.0-rc1/document/html/b72c032d-59ae-c36f-5e00-12f8d621dfb8.htm

есть только: DenseOpticalFlow, OpticalFlowDualTVL1 ???

Это AbsDiff Код:

var grayFrame = frame.Convert<Gray, Byte>();
var motionFrame = grayFrame.AbsDiff(backFrame)
                           .ThresholdBinary(new Gray(20), new Gray(255))
                           .Erode(2) 
                           .Dilate(2);

результат: Demo Diff

Я не знаю как сделать движение в Белом ?

Это код Blob:

Image<Bgr, Byte> smoothedFrame = new Image<Bgr, byte>(frame.Size);
CvInvoke.GaussianBlur(frame, smoothedFrame, new Size(3, 3), 1); //filter out noises

Mat forgroundMask = new Mat();
fgDetector.Apply(smoothedFrame, forgroundMask);

CvBlobs blobs = new CvBlobs();
blobDetector.Detect(forgroundMask.ToImage<Gray, byte>(), blobs);
blobs.FilterByArea(400, int.MaxValue);
blobTracker.Update(blobs, 1.0, 0, 1);

foreach (var pair in blobs) {
  CvBlob b = pair.Value;
  CvInvoke.Rectangle(frame, b.BoundingBox, new MCvScalar(255.0, 255.0, 255.0), 2);
}

результат: Blob Demo

почему так много ложно-положительных ?

Это код MOG2:

forgroundDetector.Apply(frame, forgroundMask);
motionHistory.Update(forgroundMask);
var motionMask = GetMotionMask();
Image<Bgr, Byte> motionImage = new Image<Bgr, byte>(motionMask.Size);
CvInvoke.InsertChannel(motionMask, motionImage, 0);

Rectangle[] rects;
using (VectorOfRect boundingRect = new VectorOfRect()) {
  motionHistory.GetMotionComponents(segMask, boundingRect);
  rects = boundingRect.ToArray();
}

foreach (Rectangle comp in rects) { ...

результат: MOG2 Demo

Если я выберу самую большую область, как я могу получить контур объекта ?

13
c# computer-vision emgucv

1 ответов

во-первых, я могу дать вам некоторый пример кода оптического потока.

пусть oldImage и newImage быть переменными, которые содержат предыдущий и текущий фрейм. В моем коде он имеет тип Image<Gray, Byte>.

// prep containers for x and y vectors
Image<Gray, float> velx = new Image<Gray, float>(newImage.Size);
Image<Gray, float> vely = new Image<Gray, float>(newImage.Size);

// use the Horn and Schunck dense optical flow algorithm.
OpticalFlow.HS(oldImage, newImage, true, velx, vely, 0.1d, new MCvTermCriteria(100));

// color each pixel
Image<Hsv, Byte> coloredMotion = new Image<Hsv, Byte>(newImage.Size);
for (int i = 0; i < coloredMotion.Width; i++)
{
    for (int j = 0; j < coloredMotion.Height; j++)
    {
        // Pull the relevant intensities from the velx and vely matrices
        double velxHere = velx[j, i].Intensity;
        double velyHere = vely[j, i].Intensity;

        // Determine the color (i.e, the angle)
        double degrees = Math.Atan(velyHere / velxHere) / Math.PI * 90 + 45;
        if (velxHere < 0)
        {
            degrees += 90;
        }
        coloredMotion.Data[j, i, 0] = (Byte) degrees;
        coloredMotion.Data[j, i, 1] = 255;

        // Determine the intensity (i.e, the distance)
        double intensity = Math.Sqrt(velxHere * velxHere + velyHere * velyHere) * 10;
        coloredMotion.Data[j, i, 2] = (intensity > 255) ? 255 : intensity;
    }
}
// coloredMotion is now an image that shows intensity of motion by lightness
// and direction by color.

Что касается большего вопроса о том, как удалить передний план:

если бы у меня был способ получить статическое фоновое изображение, это лучший способ начать. Тогда передний план будет обнаружен метод AbsDiff и с помощью Erode и размытие или гауссово чтобы сгладить изображение, затем используйте обнаружение blob.

для простого обнаружения переднего плана я обнаружил, что оптический поток слишком много обработки (8fps max), в то время как метод AbsDiff был столь же точным, но не влиял на частоту кадров.

Что касается контуров, если вы просто хотите найти размер, положение и другие моменты, то обнаружение blob в учебнике AbsDiff выше кажется достаточным, что использует Image.FindContours(...).

если нет, то я бы начал смотреть на!--26-->CvBlobDetector класса в в этом уроке. Есть встроенная функция DrawBlob, которая может пригодиться.

7