Как создать допустимое представление облака точек пары стереоизображений с помощью OpenCV 3.0 StereoSGBM и PCL

после выполнения некоторых работ и некоторых исследований я нашел свой ответ, и я делюсь им здесь, чтобы другие читатели могли использовать.

ничего плохого в алгоритме преобразования из изображения несоответствия в 3D XYZ (и, в конечном итоге, в облако точек) не было. Проблема заключалась в расстоянии объектов (которые я фотографировал) до камер и количестве информации, доступной для алгоритмов StereoBM или StereoSGBM для обнаружения сходства между двумя изображениями (пара изображений). В чтобы получить правильное облако точек 3D, необходимо иметь хорошее изображение несоответствия, а чтобы иметь хорошее изображение несоответствия (при условии, что вы выполнили хорошую калибровку), убедитесь в следующем:

1 - должно быть достаточно обнаруживаемых и различимых общих функций, доступных между двумя кадрами (правый и левый кадр). Причина в том, что алгоритмы StereoBM или StereoSGBM ищут общие черты между двумя кадрами, и их можно легко обмануть подобными вещи в двух рамках, которые могут не обязательно принадлежать одним и тем же объектам. Я лично думаю, что эти два алгоритма сопоставления имеют много возможностей для совершенствования. Так что остерегайтесь того, на что вы смотрите своими камерами.

2-объекты, представляющие интерес (те, которые вас интересуют, чтобы иметь свою 3D модель облака точек) должны быть в пределах определенного расстояния до ваших камер. Чем больше базовая линия (базовая линия-это расстояние между двумя камерами), тем дальше ваши объекты интерес (цели) может быть.

шумное и искаженное изображение несоответствия никогда не создает хорошее облако точек 3D. Одна вещь, которую вы можете сделать, чтобы улучшить свои изображения несоответствия, - это использовать дорожки в своих приложениях, чтобы вы могли настроить параметры StereoSBM или StereoSGBM, пока не увидите хорошие результаты (четкое и плавное изображение несоответствия). Ниже приведен небольшой и простой пример того, как создавать трековые бары (я написал его как можно проще). Используйте по мере необходимости:

 int PreFilterType = 0, PreFilterCap = 0, MinDisparity = 0, UniqnessRatio = 0, TextureThreshold = 0,
    SpeckleRange = 0, SADWindowSize = 5, SpackleWindowSize = 0, numDisparities = 0, numDisparities2 = 0, PreFilterSize = 5;


            Ptr<StereoBM> sbm = StereoBM::create(numDisparities, SADWindowSize);  

while(1)
{
            sbm->setPreFilterType(PreFilterType);
            sbm->setPreFilterSize(PreFilterSize);  
            sbm->setPreFilterCap(PreFilterCap + 1);
            sbm->setMinDisparity(MinDisparity-100);
            sbm->setTextureThreshold(TextureThreshold*0.0001);
            sbm->setSpeckleRange(SpeckleRange);
            sbm->setSpeckleWindowSize(SpackleWindowSize);
            sbm->setUniquenessRatio(0.01*UniqnessRatio);
            sbm->setSmallerBlockSize(15);
            sbm->setDisp12MaxDiff(32);

            namedWindow("Track Bar Window", CV_WINDOW_NORMAL);
            cvCreateTrackbar("Number of Disparities", "Track Bar Window", &PreFilterType, 1, 0);
            cvCreateTrackbar("Pre Filter Size", "Track Bar Window", &PreFilterSize, 100);
            cvCreateTrackbar("Pre Filter Cap", "Track Bar Window", &PreFilterCap, 61);
            cvCreateTrackbar("Minimum Disparity", "Track Bar Window", &MinDisparity, 200);
            cvCreateTrackbar("Uniqueness Ratio", "Track Bar Window", &UniqnessRatio, 2500);
            cvCreateTrackbar("Texture Threshold", "Track Bar Window", &TextureThreshold, 10000);
            cvCreateTrackbar("Speckle Range", "Track Bar Window", &SpeckleRange, 500);
            cvCreateTrackbar("Block Size", "Track Bar Window", &SADWindowSize, 100);
            cvCreateTrackbar("Speckle Window Size", "Track Bar Window", &SpackleWindowSize, 200);
            cvCreateTrackbar("Number of Disparity", "Track Bar Window", &numDisparities, 500);

            if (PreFilterSize % 2 == 0)
            {
                PreFilterSize = PreFilterSize + 1;
            }


            if (PreFilterSize2 < 5)
            {
                PreFilterSize = 5;
            }

            if (SADWindowSize % 2 == 0)
            {
                SADWindowSize = SADWindowSize + 1;
            }

            if (SADWindowSize < 5)
            {
                SADWindowSize = 5;
            }


            if (numDisparities % 16 != 0)
            {
                numDisparities = numDisparities + (16 - numDisparities % 16);
            }
        }
}

Если вы не получая должных результатов и сглаживая несоответствие изображения, не разочаровывайтесь. Попробуйте использовать образцы изображений OpenCV (тот, в котором есть оранжевая настольная лампа) с вашим алгоритмом, чтобы убедиться, что у вас есть правильный трубопровод, а затем попробуйте делать снимки с разных расстояний и играть с параметрами StereoBM/StereoSGBM, пока вы не сможете получить что-то полезное. Я использовал свое собственное лицо для этой цели, и поскольку у меня была очень маленькая базовая линия, я подошел очень близко к своим камерам (вот ссылка на мое 3D-лицо изображение облака точек, и Эй, не смей смеяться!!!)1.Я был очень рад видеть себя в 3D-форме облака точек после недели борьбы. Я никогда не была так счастлива видеть себя раньше!!! ;)