3D-реконструкция с двух калиброванных камер-где ошибка в этом трубопроводе?

есть много сообщений о 3D-реконструкции из стерео видов известной внутренней калибровки, некоторые из которых отлично. Я прочитал много из них, и на основе того, что я прочитал, я пытаюсь вычислить свою собственную реконструкцию 3D-сцены с помощью приведенного ниже конвейера / алгоритма. Я изложу метод, а затем задам конкретные вопросы внизу.

0. Калибровка камер:

• это означает получить камеру калибровка матрицы K₁ и K₂ для камеры 1 и камеры 2. Это матрицы 3x3, инкапсулирующие внутренние параметры каждой камеры: фокусное расстояние, смещение главной точки / центр изображения. Они не меняются, вам нужно сделать это только один раз, ну, для каждой камеры, пока вы не увеличиваете или не изменяете разрешение, в котором вы записываете.
• сделать это в автономном режиме. Не спорить.
• я использую OpenCV ' s CalibrateCamera() и шахматные процедуры, но эта функциональность также включена в MATLAB калибровка камеры toolbox. Процедуры OpenCV, похоже, работают хорошо.

1. Фундаментальная Матрица Ф:

• С вашими камерами теперь настроенными как стерео установка. Определите фундаментальную матрицу (3x3) этой конфигурации, используя точечные соответствия между двумя изображениями/представлениями.
• как вы получение соответствий зависит от вас и будет во многом зависеть от самой сцены.
• я использую OpenCV findFundamentalMat() получить F, который предоставляет ряд вариантов метода wise (8-точечный алгоритм, RANSAC, LMEDS).
• вы можете проверить полученную матрицу, подключив ее к определяющему уравнению фундаментальной матрицы:x'Fx = 0 где x' и x-соответствия точек необработанного изображения (x, y) в однородных координатах (x, y, 1) и один из трех векторов транспонированной так что умножение имеет смысл. Чем ближе к нулю для каждого соответствия, тем лучше F подчиняется его отношению. Это эквивалентно проверке того, насколько хорошо производное F фактически отображает с одной плоскости изображения на другую. Я получаю среднее отклонение ~2px, используя 8-точечный алгоритм.

2. Существенная Матрица E:

• вычислить необходимую матрицу непосредственно из F и калибровочных матриц.
• E = K₂^T FK₁

3. Внутреннее ограничение на E:

• E должен подчиняться определенным ограничениям. В частности, если разложить SVD на USV.t тогда это сингулярные значения должны быть = a, a, 0. Первые две диагональные элементы должны быть равны, а третий равен нулю.
• я был удивлен, прочитав здесь если это не так, когда вы тестируете его, вы можете выберите, чтобы изготовить новую существенную матрицу из предыдущего разложения следующим образом:E_new = U * diag(1,1,0) * V.t который, конечно, гарантированно подчиняется ограничению. Вы по существу установили s = (100,010,000) искусственно.

4. Полные Матрицы Проекции Камеры:

• есть две матрицы проекции камеры P₁ и P₂. Это 3x4 и подчиняются x = PX отношения. Кроме того,P = K[R|t] и поэтому K_inv.P = [R|t] (где калибровка камеры удалена).
• первая Матрица P₁ (исключая калибровочную матрицу K) можно установить в [I|0] тогда P₂ (исключая K) is R|t
• вычислить вращение и перемещение между двумя камерами R, t из разложения E. Существует два возможных способа вычисления R (U*W*V.t и U*W.t*V.t) и два способа вычисления t (±третий столбец U), что означает, что существует четыре комбинации Rt, только один из которых является действующим.
• вычислите все четыре комбинации и выберите ту, которая геометрически соответствует ситуации, когда реконструированная точка перед обеими камерами. Я действительно делаю это, выполняя и вычисляя результирующий P₂ = [R / t] и триангуляция 3d-положения нескольких соответствий в нормализованных координатах для обеспечения положительной глубины (z-coord)

5. Триангуляции в 3D

• наконец, объедините восстановленные матрицы проекции 3x4 с их соответствующими матрицами калибровки: P'₁ = K₁P₁ и P'₂ = K₂P₂
• и триангулировать 3-пространственные координаты каждой 2d-точки соответствия соответственно, для которых я использую метод LinearLS из здесь.

вопросы:

• есть ли вой недочеты и/или ошибки в этом методе?
• моя матрица F, по-видимому, точна (0,22% отклонения в отображении по сравнению с типичными значениями координат), но при тестировании E против x'Ex = 0 используя нормализованная соответствие изображений типичная ошибка в этом отображении составляет >100% от самих нормализованных координат. Тестирование E против xEx = 0 действительно, и если да, то откуда этот скачок в ошибке?
• ошибка в моей фундаментальной матричной оценке значительно хуже при использовании RANSAC, чем алгоритм 8pt, ±50px в отображении между x и x'. Это глубоко меня беспокоит.
• "принуждение к внутреннему ограничению" все еще сидит очень странно со мной - как может быть допустимо просто изготовить новую существенную матрицу из части разложения оригинала?
• есть ли более эффективный способ определения, какую комбинацию R и t использовать, чем вычисление P и триангуляция некоторых нормализованных координат?
• моя последняя ошибка повторной проекции-сотни пикселей в изображениях 720p. Вероятно, я рассматриваю проблемы калибровки, определения P-матриц или триангуляции?