Обнаружение объектов с помощью Surf

вы сделали следующие шаги:

1. совпадение ключевых точек на 2 изображениях.
2. предполагая, что совпадение было правильным, вычислите гомографию (матрицу проекции).
3. используйте гомографию для проецирования углов исходного изображения, чтобы нарисовать четырехугольную форму (которую вы называете прямоугольником).

проблема заключается в том, что, когда Шаг 1 терпит неудачу, вы получаете неправильную гомографию на Шаге 2 (Неправильная матрица) и когда вы проецируете углы на Шаге 3, они могут выпасть из изображения, и вы не видите линий.

то, что вы на самом деле хотите, это способ узнать, является ли рассчитанная вами гомография правильной формы. Для этого, пожалуйста, смотрите ответ здесь:Как проверить, является ли полученная матрица гомографии хорошей? Используйте его, чтобы проверить правильность вашей гомографии. Если нет, то вы знаете, что матч закончился неудачей. Если это правильно, вы можете нарисовать прямоугольник, и вы увидите его, но он может будьте не так точны, если матч между ключевыми точками не был точным.

наконец, я думаю, что ваш алгоритмический подход неверен. Распознавание / обнаружение транспортного средства сверху, сопоставляя его с изображением транспортного средства спереди, является тупиком. Вы не должны использовать ключевые точки, соответствующие вообще. Просто отметьте вручную все транспортные средства на изображениях и отправьте его в SVM. Если это слишком много работы, используйте механическую платформу Turk для автоматической маркировки автомобилей. В заключение - ключевые моменты матча это подход, который просто не соответствует вашим потребностям, потому что он имеет сильное предположение, что внешний вид автомобиля на обоих изображениях похож. В вашем случае эти изображения слишком разные (из-за 3D-структуры автомобиля и разных углов обзора)

то, что вы на самом деле делаете, это найти опорные точки в изображениях (ключевые точки) и сравнить их друг с другом, чтобы найти их повторение в других изображениях (на основе вектора функций SURF). Это важный шаг в обнаружении и распознавании объектов, но не следует ошибаться с сегментацией изображения (http://en.wikipedia.org/wiki/Image_segmentation) или локализация объекта, где вы найдете точные контуры (или набор пикселей или суперпикселей) желаемого объект.

получаем ограничивающий прямоугольник объекта, особенно в перспективе, как в вашем примере, не является тривиальной задачей. Вы можете начать с ограничивающей рамки ключевых точек, которые были найдены. Однако, это будет охватывать только часть объекта. Особенно ограничивающую рамку в перспективе в вашем примере может быть трудно найти без 3D-регистрации изображения, т. е. зная значение 3-го измерения (z-значение, глубина) каждого пикселя на изображении.

так же, как этот? рисование прямоугольника вокруг обнаруженного объекта с помощью SURF

насколько я могу судить, единственная причина, по которой контур не нарисован, заключается в том, что раздел кода, который делает это, закомментирован, поэтому раскомментируйте его. Эта часть кода описала тестовый образ для меня:

/*   
//-- Draw lines between the corners (the mapped object in the scene - image_2 )
line( img_matches, scene_corners[0] + Point2f( img_1.cols, 0), scene_corners[1] + Point2f( img_1.cols, 0), Scalar(0, 255, 0), 4 );
line( img_matches, scene_corners[1] + Point2f( img_1.cols, 0), scene_corners[2] + Point2f( img_1.cols, 0), Scalar( 0, 255, 0), 4 );
line( img_matches, scene_corners[2] + Point2f( img_1.cols, 0), scene_corners[3] + Point2f( img_1.cols, 0), Scalar( 0, 255, 0), 4 );
line( img_matches, scene_corners[3] + Point2f( img_1.cols, 0), scene_corners[0] + Point2f( img_1.cols, 0), Scalar( 0, 255, 0), 4 );   */

вы, вероятно, не хотите рисовать прямоугольник вокруг соответствующего шаблона в видеоизображении, потому что он может быть искажен. Подключите деформированный scene_corners с линиями, вместо. Я бы убрал все это x1, x2, y1, y2 и cvRect square вещи.

отметим, что scene_corners не дает вам прямоугольник, потому что объект может быть повернут в видео иначе, чем в изображении шаблона. Изображение сотового телефона, размещенное выше, является отличным примером, - зеленый контур вокруг экрана телефона является четырехугольником. Если вы хотите работать с прямоугольным ROI, содержащим весь объект, вы можете рассмотреть возможность поиска ограничивающего прямоугольника, содержащего весь объект на видео. Вот как я это сделаю:

// draw the *rectangle* that contains the entire detected object (a quadrilateral)
// i.e. bounding box in the scene (not the corners)

// upper left corner of bounding box
cv::Point2f low_bound = cv::Point2f( min(scene_corners[0].x, scene_corners[3].x) , min(scene_corners[0].y, scene_corners[1].y) );

// lower right corner of bounding box
cv::Point2f high_bound = cv::Point2f( max(scene_corners[2].x, scene_corners[1].x) , max(scene_corners[2].y, scene_corners[3].y) );

// bounding box offset introduced by displaying the images side-by-side
// *only for side-by-side display*
cv::Point2f matches_offset = cv::Point2f( img_1.cols, 0);

// draw the bounding rectangle in the side-by-side display
cv::rectangle( img_matches , low_bound +  matches_offset , high_bound + matches_offset , cv::Scalar::all(255) , 2 );

/* 
if you want the rectangle around the object in the original video images, don't add the
offset and use the following line instead:

cv::rectangle( img_matches , low_bound , high_bound , cv::Scalar::all(255) , 2 );
*/

// Here is the actual rectangle, you can use as the ROI in you video images:
cv::Rect video_rect = cv::Rect( low_bound , high_bound );

последняя строка в блоке кода выше может иметь прямоугольник вы пытались сделать в своем первоначально написал код. Это должен быть прямоугольник в видеоизображение, img. Вы можете использовать его для работы с подмножеством изображения, которое содержит объект (ROI).

как упоминал Анум, вы также смешиваете старый и новый стиль OpenCV. Вы можете очистить вещи, последовательно используя Point2f а не cvPoint, между прочем.