Документ взят из кэша поисковой машины. Адрес оригинального документа : http://imaging.cs.msu.su/pub/2007.mmro.Yurin_Krylov_Nasonov.SI.ru.pdf Дата изменения: Thu Jun 14 23:00:00 2007 Дата индексирования: Sat Apr 9 23:26:53 2016 Кодировка: Windows-1251

Методы и алгоритмы совмещения изображений и их применение

1

Методы и алгоритмы совмещения изображений и их применение в задачах восстановления трехмерных сцен и панорам, анализе медицинских изображений
Юрин Д. В., Крылов А. С., Волегов Д. Б., Насонов А. В., Свешникова Н. В.
Москва, ВМиК МГУ им. М.В.Ломоносова yurin_d@inbox.ru

Задача совмещения изображений имеет широкие приложения, особенно если ее рассматривать в расширенном варианте, включающем грубое совмещение изображений, которые не могут быть совмещены точно (из-за эффекта перспективы или временной изменчивости). Необходимость какого-либо (хотя бы грубого) совмещения изображений возникает в указанных задачах для установления взаимнооднозначного соответствия между изображениями характеристических особенностей реальной трехмерной сцены, неизменившимися частями органов. Таким образом, подсистема совмещения изображений является обязательной частью задач упомянутых в названии. Настоящие тезисы являются обзором полученных результатов и направлений дальнейшего развития в ходе работ по гранту РФФИ, проект 06-01-00789-а с названием вынесенным в заголовок статьи.

Постановка задачи
Основной целью проводимых работ является построение системы восстановления трехмерных сцен по набору изображений, получаемых с помощью цифрового фотоаппарата (а не видео как обычно), движущегося достаточно произвольно. Сцена предполагается замороженной на время съемки. Идея предлагаемого подхода состоит в том, чтобы предварительно грубо совместить имеющийся набор изображений попарно, после чего задача установления взаимнооднозначных соответствий может решаться методами близкими к традиционным. Учитывая разнообразие трехмерных сцен, имеет смысл использовать параллельно различные методы предварительного совмещения изображений с выбором наилучшего результата. Часть этих методов может быть с равным успехом использована в задачах построения панорам и обработки медицинских изображений.

Структура системы
Фильтрация изображений Частью любой системы обработки изображений является подсистема фильтрации - улучшения, выделения характеристических особенностей и.т.п. Разработаны алгоритм


2

Юрин Д. В., Крылов А. С., Волегов Д. Б., Насонов А. В., Свешникова Н. В.

предобработки изображений, приводящий к подавлению эффекта Гиббса [1] и единый подход к программной реализации фильтрации по локальной окрестности - "Потоковая фильтрация", на основе которого реализованы детекторы локальных особенностей.

Предварительное совмещение изображений Изображения, получаемые с помощью фотоаппарата, могут значительно отличаться даже при малых его перемещениях за счет неконтролируемого изменения направления оптической оси. При более существенных пространственных перемещениях начинают сказываться эффекты перспективы. Задача совмещения решается в 2 этапа: на первом выполняется грубое совмещение изображений как целого в рамках аффинной или проективной модели в зависимости от контекста, на втором - путем построения карты смещений по пирамиде детальности [2]. Задачи первого этапа решаются в общем случае несколькими методами, в частности по прямым линиям [3] и методом [4]. Так как первый метод основан на вычислении преобразования Хартли, а второй может быть к нему адаптирован, то преобразование вычисляется однократно. Поиск характеристических точек Характеристические точки ищутся детектором Харриса, модифицированным для учета цветовых компонент. Соответствие между точками на разных кадрах осуществляется на основе известной грубой карты смещений, правильность соответствия проверяется по дифференциальным инвариантам или путем вычисления корреляции по локальной окрестности.
Восстановление трехмерных координат прослеженных точек, позы камер и эпиполярной геометрии и погрешностей этих величин выполняется методом факторизации [5, 6]. Полученная сеточная модель не адекватно отображает трехмерную структуру сцены из-за небольшого количества точек и автоматической процедуры триангуляции. Тем не менее построенная сеточная модель дает оценку формы сцены и диапазон ожидаемых расстояний до других точек сцены. Это позволяет произвести поиск дополнительных соответствующих точек при найденных ограничениях на паре кадров [7]. Учитывая что матрица движения уже известна, путем репроецирования можно получить оценку координат изображений точки на всех кадрах и проверить сходство по локальной окрестности. Грубая сеточная модель позволяет также строить гипотезы о том, чем вызвано расхождение - ошибочно найденным соответствием или закрытием более

Первичное восстановление трехмерной сеточной модели

Поиск особенностей при ограничениях, уточнение сетки


Методы и алгоритмы совмещения изображений и их применение

3

близким объектом. Точка, прослеженная по всей последовательности изображений, может быть использована для уточнения модели путем перерасчета факторизации. В противном случае она просто уточняет сетку. Следующий шаг - добавление виртуальных точек, образованных пересечением обнаруженных на изображении линий детектором границ и эпиполярных линий, что приводит к существенному улучшению сеточной модели за счет добавления большого количества точек, особенно на скачках глубины сцены. На этом шаге контролируются два параметра: угол пересечения линий не должен быть слишком острым, а погрешность эпиполярной линии слишком большой. Поиск закономерностей формы и проверка гипотез Имея трехмерные координаты восстановленных точек с погрешностями, можно путем иерархического преобразования Хафа выявить точки, возможно принадлежащие плоским поверхностям сцены. На основе выделенных подмножеств точек вычисляется уравнение плоскости, осуществляется проективное преобразование изображений в единую проекцию и проверка этой гипотезы путем аффинного совмещения изображений алгоритмом Ши-Томаси (см. [2]). Работа выполнена при поддержке РФФИ, проект 06-01-00789-а.

Литература
[1] Nasonov A., Krylov A., Lukin A. Post-processing by Total Variation Quasisolution Method for Image Interpolation // Graphicon 2007 conference proceedings, Moscow 2007. http://www.graphicon.ru [2] Волегов Д.Б., Юрин Д.В. Поиск карты смещений по пирамиде детальности // Труды конференции Графикон 2007, Москва. [3] Волегов Д.Б., Юрин Д.В. Грубое совмещение изображений по найденным на них прямым линиям // Труды конференции Графикон 2006, Новосибирск. C. 463466. http://www.graphicon.ru [4] Reddy B. S., Chatterji B. N. An FFT-based technique for translation, rotation, and scale-invariant image registration // IEEE PAMI. 1996. V. 5, No. 8. P. 12661271. [5] Свешникова Н.В., Юрин Д.В. Алгоритмы факторизации: достоверность результата и применение для восстановления эпиполярной геометрии // Труды конференции Графикон 2006, Новосибирск. C. 158165. [6] Калиниченко А.В., Свешникова Н.В., Юрин Д.В. Эпиполярная геометрия и оценка ее достоверности по результатам восстановления трехмерной сцены алгоритмами факторизации // Труды конференции Графикон 2006, Новосибирск. C. 343346. http://www.graphicon.ru [7] Свешникова Н.В. Уточнение сеточной модели трехмерной сцены, предварительно восстановленной по малому количеству характеристических точек // Труды конференции Графикон 2007, Москва 2007. http://www.graphicon.ru