Расстояние до объекта с помощью стереокамеры

Примечание: все, что описано здесь, можно найти в книге Learning OpenCV в главах о калибровке камеры и стереовидении. Вы должны прочитать эти главы, чтобы лучше понять следующие шаги.

один подход, который не требует, чтобы вы измеряли все встроенные и внешние камеры, - это использовать функции калибровки openCVs. Внутреннеприсущие части камеры (искажение объектива / skew etc) можно высчитать с cv:: calibrateCamera, пока extrinsics (отношение между левой и правой камерой) можно рассчитать с помощью CV::stereoCalibrate. Эти функции берут несколько точек в координатах пикселей и пытаются сопоставить их с координатами объектов реального мира. CV имеет аккуратный способ получить такие очки, распечатать черно-белую шахматную доску и использовать функции cv::findChessboardCorners/cv::cornerSubPix для их извлечения. Около 10-15 пар изображений шахматных досок должны делать.

матрицы вычисляется путем калибровки функции быть сохранены на диск, так что вам не придется повторять этот процесс каждый раз при запуске приложения. Здесь вы получаете несколько аккуратных матриц, которые позволяют создать карту исправления (cv::stereoRectify/cv::initUndistortRectifyMap), которая позже может быть применена к вашим изображениям с помощью CV::remap. Вы также получаете аккуратную матрицу под названием Q, которая является матрицей несоответствия глубине.

причина исправления изображений заключается в том, что после завершения процесса для пары изображений (при условии, что ваша калибровка правильно), каждый пиксель / объект в одном изображении можно найти на та же строка на другом изображении.

есть несколько способов вы можете идти отсюда, в зависимости от того, какие функции вы ищете в образе. Один из способов-использовать функции соответствия CVS stereo, такие как сопоставление Стереоблоков или сопоставление глобальных блоков. Это даст вам карту несоответствия для всего изображения, которое можно преобразовать в 3D-точки с помощью матрицы Q (cv:: reprojectImageTo3D).

падение этого заключается в том, что, если в изображении нет много информации о текстуре, CV не очень хорош в создании плотной карты несоответствия (вы получите пробелы в ней, где он не смог найти правильное несоответствие для данного пикселя), поэтому другой подход-найти точки, которые вы хотите сопоставить себе. Скажем, вы находите функцию / объект в x=40, y=110 в левом изображении и x=22 в правом изображении (поскольку изображения выпрямлены, они должны иметь то же самое y-значение). Диспаритет рассчитывается как d = 40-22 = 18.

построить cv:: Point3f(x,y,d), в нашем случае (40,110,18). Найдите другие интересные точки таким же образом, затем отправьте все точки в cv::perspectiveTransform (с матрицей Q в качестве матрицы преобразования, по существу, эта функция является cv::reprojectImageTo3D, но для разреженных карт диспаритета), и на выходе будут точки в системе координат XYZ с левой камерой в центре.