Привязка географической информации к фотографиям. Привязка по одной точке

Увеличиваем экстент базовой карты к первой точке привязки. Так же увеличиваем привязываемое изображение к выбранной точке привязки. Приблизившись в окне модуля к точке привязки, нажимаем кнопку «Добавить точку» и клацаем указателем мышки по выбранной точке. После этого открывается форма ввода координат. Координаты можно ввести как через поля ввода, так и захватить с карты. Если у нас есть координаты точек, например, полученные при помощи GPS-навигатора, мы можем их внести в соответствующих полях. Для получения координат с базовой карты нажимаем кнопку «С карты».

Качество привязки зависит от количества точек привязки и от выбора метода трансформации. Подробнее про методы трансформации можно почитать .

Если в окне параметров трансформации вы отметили пункт «Открыть результат QGIS» то после окончания процесса привязки результирующий слой будет добавлен в рабочий проект поверх базовой карты.

Важным нюансом является то, что в результате работы модуля, результирующий растр имеет систему координат указанную в параметрах трансформации, но информация про то какая именно проекция растра, в нем не содержится. По этой причине, он может присутствовать в списке слоев, но не отображаться на карте. В таком случае необходимо зайти в «свойства слоя» и указать нужную систему координат вручную.

Подробнее

1. Сопоставление изображений на основе "характерных черт"

Литература для самостоятельного изучения

Книга ($\textit{Красовский, Белоглазов, Чигин}$) содержит изложение классической теории корреляционно-экстремального анализа двумерных полей, с которой мы рекомендуем обязательно ознакомиться в рамках углубленного курса.

Оригинальный подход к взаимной привязке изображений на основе так называемой беспоисковой корреляции изложен в книге ($\textit{Астапов, Васильев, Заложнев}$). Этот подход больше применим в области корреляционного слежения, чем в области сравнения произвольных изображений, но он привлекателен возможностью эффективной программной и аппаратно-программной реализации.

В книге ($\textit{Шапиро, Стокман}$) методам сопоставления изображений и объектов в двумерном пространстве посвящена глава 11. Здесь представляют интерес геометрические аспекты проблемы, которым в нашем изложении уделялось меньше внимания. Главы $12$ и $13$ посвящены восприятию трехмерных сцен. Их также можно рекомендовать для самостоятельного изучения, хотя изложение того же круга вопросов в книге нам кажется более полным и удачным.

В книге ($\textit{Форсайт, Понс}$) непосредственно задаче стереоотождествления посвящен небольшой раздел "бинокулярное совмещение изображений", который при этом содержит ряд интересных идей, отсутствующих в нашем изложении. В частности, описано стереоотождествление методом динамического программирования и ряд других методов. В широком смысле задаче реконструкции трехмерной пространственной информации по набору двумерных изображений посвящена вся часть III данной книги, включающая главы $10$ "Геометрия нескольких проекций", $11$ "Стереозрение", $12$ "Определение аффинной структуры по движению" и $13$ "Определение апроективной структуры по движению". Рассматриваемые здесь вопросы связаны с построением различных метрических и проективных соотношений между точками изображений и точками сцены, расчетом хода лучей и т.п. Эти вопросы не включены нами в данный учебный курс, поскольку они ближе к фотограмметрической области, чем к области обработки и анализа изображений, однако в рамках углубленного курса машинного зрения такие элементы следует признать необходимыми. В связи с этим мы рекомендуем всю III часть книги для углубленного самостоятельного изучения.

Список источников по разделу

1. $\textit{Bertram S.}$ The UNAMACE and the automatic photomapper\Dslash Photogrammetric Engineering. 35. No.6. 1969. P.569 - 576.
2. $\textit{Levine M.D., O"handley D.A., Yagi G.M.}$ Computer Determination of Depth Maps\Dslash Computer Graphics and Image Processing. 2. No.2. 1973. P.131 - 150.
3. $\textit{Mori K., Kidode M., Asada H.}$ An iterative prediction and correction method for automatic stereocomparison\Dslash Computer Graphics and Image Processing. 2. No.3 - 4. 1973. P.393 - 401.
4. $\textit{Ackerman F.}$ High precision digital image correlation\Dslash IPSUS. 1984. №9. P.231 - 243.
5. $\textit{Gruen A., Baltsavias E.}$ Adaptive least squares correlation with geometrical constraints\Dslash SPIE. 1985. V.595. P.72 - 82.
6. $\textit{Ohta Y., Kanade T.}$ Stereo by intra- and inter-scanline search using dynamic programming\Dslash IEEE PAMI. V.7. No.2. 1985. P.139 - 154.
7. $\textit{Priice K.E.}$ Relaxation techniques for matching\Dslash Minutes of the Workshop of Image Matching, September 9-11, 1987, Stuttgart University, F.R.Germany.
8. $\textit{Foerstner W.}$ A feature based correspondence algorithm for image matching. ISPRS Commision III Symposium, Rovaniemi, Finland, August 19-22, 1986\Dslash IAPRS. V.26-3/3. P.150 - 166.
9. $\textit{Ayache N., Faverjon B.}$ Efficient registration of stereo images by matching graph description of edge segments\Dslash IJCV. V.1. No.2. 1987. P.107 - 131.
10. $\textit{Ван Трис Г.}$ Теория обнаружения, оценок и модуляции. Т.1 - М.: Советское радио, 1972.
11. $\textit{Василенко Г.И., Цибулькин Л.М.}$ Голографические распознающие устройства. - М.: Радио и связь, 1985.
12. $\textit{Бочкарев А.М.}$. Корреляционно-экстремальные системы навигации\Dslash Зарубежная радиоэлектроника. 1981. №9. C.28 - 53.
13. $\textit{Ярославский Л.П.}$ Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. - М.: Радио и связь, 1987.
14. $\textit{Хорн Б.К.}$ Зрение роботов. - М.: Мир, 1989.
15. $\textit{Денисов Д.А., Низовкин В.А.}$ Сегментация изображений на ЭВМ\Dslash Зарубежная радиоэлектроника, №10. 1985.
16. $\textit{Davies E.R.}$ Machine Vision: Theory, Algorithms, Practicalities. - Academic Press., 2-nd Edition, San Diego, 1997.
17. $\textit{T. Tuytelaars, L. Van Gool.}$ Matching widely separated views based on affine invariant regions\Dslash International Journal of Computer Vision 59(1). 2004. P.61 - 85.
18. $\textit{Ярославский Л.П.}$ Точность и достоверность измерения положения двумерного объекта на плоскости\Dslash Радиотехника и Электроника. 1972. №4.
19. $\textit{Abbasi-Dezfould M., Freeman T.G.}$ Stereo-Image Registration Based of Uniform Patches, International Archives of Photogrammetry and Remote Sensing. V. XXXI. Part B2. Vienna, 1996.
20. $\textit{Schenk.}$ Automatic Generation of DEM`s, Digital Photogrammetry: An Addentum to the Manual of Photogrammetry\Dslash American Society for Photogrammetry{\&}Remote Sensing. 1996. P.145 - 150.
21. $\textit{Gruen A,}$ Adaptive Least Squares Correlation: A powerful image matching technique\Dslash South African Journal of photogrammetry, Remoute Sensing and Cartography. V.14. Part 3. June, 1985.
22. $\textit{Golub G.H., Ch. F. Van Loan.}$ Matrix computations. - John Hopkins University Press, 1983.
23. $\textit{Пытьев ЮП.}$ Морфологический анализ изображений\Dslash Доклады АН СССР. 1983. Т.269. №5. C.1061 - 1064.
24. $\textit{Haralick R.M. and Shapiro L.G.}$ Machine vision. - Addison-Wesley, 1991.
25. $\textit{Zuniga O.A., Haralick R.M.}$ Corner detection using the facet model\Dslash Proc. IEEE Comput. Vision Pattern Recogn. Conf., 1983. P.30-37.

Двумерные изображения, полученные с помощью аэрокосмических средств, всегда отображают трехмерные объекты на земной поверхности. Даже изображения областей, кажущихся практически плоскими, всегда искажены вследствие кривизны земной поверхности и неоднородности пространственных характеристик используемых датчиков. Целью геометрической коррекции изображений является адекватное представление на них объектов земной поверхности, сопоставимость различных изображений (разновременных или полученных с разных типов аппаратуры) и трансформирование их в проекцию карты с целью комплексного анализа аэрокосмических и картографических материалов.

В некоторых задачах тематической обработки целесообразно проводить геометрическую коррекцию после выполнения классификации изображения. Это, прежде всего, относится к тем случаям, когда спектральные отражательные свойства объектов исследования являются основной характеристикой, необходимой для получения корректных результатов. Если же в процессе тематической классификации используются достоверные данные наземных обследований или результаты мультивременных наблюдений, в том числе представленные в виде картографических материалов, то геометрическая коррекция должна быть выполнена перед началом тематического дешифрирования, причем самым тщательным образом. В случаях, когда обработка проводится на территории со сложным рельефом, для точного сопоставления исследуемых объектов с картой может потребоваться ортотрасформирование изображения с использованием трехмерной цифровой модели рельефа.

Геометрическая коррекция необходима также при ландшафтно-индикационном дешифрировании, где большую роль играют геоморфологические структурные признаки ландшафтов и их взаимосвязи, а также во всех задачах, связанных с выделением пространственно локализованных объектов. Составление точных фотопланов и мозаик изображений также требует предварительной геометрической коррекции.

Географическая привязка и геометрическая коррекция аэрокосмических изображений в большинстве случаев связана с тем или иным видом картографического проецирования. Система картограф ической проекции - это любая система, предназначенная для представления сферы или эллипсоида вращения (типа Земли) на плоскости. Существует множество различных методов проецирования. Так как проецирование сферы на плоскость неизбежно приводит к искажениям объектов поверхности, каждая система проецирования характеризуется некоторыми свойствами, такими, как сохранение расстояний, углов или площадей. По этим свойствам различают, соответственно, проекции равнопромежуточные, равноугольные и равновеликие.

Целесообразность использования того или иного вида проекций из перечисленных определяется характером измерений, которые предполагается выполнять в процессе решения задачи. Например, в равновеликих проекциях (с сохранением площадей) круг определенного диаметра, нарисованный в любом месте карты, будет иметь одну и ту же площадь. Это полезно при сопоставлении различных объектов землепользования, определения плотности объектов на карте и во многих других приложениях. Однако при этом форма и взаимные расстояния на некоторых участках карты могут быть искажены.

Существуют разнообразные системы картографических координат для определения положения точки на карте (на изображении). Каждая система координат порождает сетку, узлы которой обозначаются парой чисел X, Y (на цифровом изображении номер столбца и номер строки). Каждая система проецирования данных на карту связана с определенной системой картографических координат.

В пакетах обработки аэрокосмических изображений выделяют три вида операций, связанных с использованием координатной сетки. Далее см. бил. 24, 25.

Трансформирование изображений при геометрической коррекции. Получение матрицы трансформирования по опорным точкам, оценка ошибок. Способы пересчета значений пикселей при трансформировании изображения.

Ректификация (трансформирование) - процесс преобразования данных из одной сеточной системы в другую с использованием полиномов n-й степени. Так как пиксели на новой сетке могут не совпадать с пикселями первоначальной сетки, то он должны быть перевыбраны. Перевыборка представляет собой процесс интерполяции (экстраполяции) значений пикселей на новую сетку координат.

Привязка изображений. Во многих прикладных задачах используется анализ изображений одной территории, полученных различными типами аппаратуры или в разные сроки съемки. Чтобы иметь возможность сравнивать изображения попиксельно, необходимо привести их к единой системе координат и «подогнать» изображения друг к другу. При этом не обязательно использовать картографическую систему координат. Если ни одно из используемых изображений не трансформировано в картографическую проекцию, их можно анализировать, подогнав одно к другому в системе координат одного из изображений.

Одним из распространенных приемов, используемых в процессе интерактивного визуального дешифрирования является повышение разрешения, а следовательно, и информативности многозональных изображений путем совмещения их с панхроматическим изображением более высокого пространственного разрешения. На первом этапе выполняется взаимная привязка многозонального и панхроматического изображения. Затем производится растяжение многозонального изображения до масштаба панхроматического и пересчет яркостей по определенному правилу. При использовании самого простого мультипликативного правила значение j-ro пикселя Ij на выходе в j-м канале определяется произведением: где- исходное значение пикселя, I рап -

значение соответствующего пикселя в панхроматическом канале.

Географическая привязка - процесс приписывания пикселям изображения географических координат. Географическая привязка отражается только в информации о географических координатах в файле изображения. Сетка изображения при этом не меняется. Изображение может быть географически привязано, но не ректифицировано. В случае, когда пикселям изображения приписаны сферические (геодезические) координаты (широта, долгота), его называют цифровой моделью , в отличие от цифровой карты, которая всегда имеет определенную картографическую проекцию и плановую (географическую) систему координат. Цифровая модель посредством ректификации может быть приведена к любой цифровой карте. Процесс ректификации всегда требует предварительной географической привязки изображения, так как любая картографическая проекция всегда связана с определенной системой координат. В случае привязки изображения к изображению географическая привязка требуется в том случае, если одно из изображений уже привязано.

Процесс ректификации включает следующие этапы:

1) выбор контрольных точек (GCP - Ground Control Points);

2.расчет и тестирование матрицы трансформирования;

3) формирование нового изображения с информацией о координатной сетке в заголовке файла; при этом производится перевыборка пикселей.

Контрольные точки (GCP) представляют собой надежно идентифицируемые элементы изображения с известными координатами. Наиболее корректными являются координаты, полученные с опорных геодезических пунктов или с JPS-приемников. Однако во многих случаях приходится пользоваться отсканированными бумажными картами или векторными слоями электронных карт в совместимых с пакетом обработки форматах, например, shape-файлами из ArcView или покрытиями из ARC/INFO. При использовании для ректификации картографических материалов необходимо учитывать, что в процессе генерализации при переходе от более крупного масштаба карты к более

мелкому размер и положение некоторых объектов претерпевают искажения. Это допускается с целью сохранения характерных особенностей территории и наиболее важных в том или ином смысле топографических объектов. Прежде всего, это относится к сильно изрезанной береговой линии, дельтам и рукавам рек, озерам на засушливых землях и т.п. Наиболее надежными контрольными точками являются узлы гидросети без характерных особенностей, перекрестки дорог и другие объекты достаточно простой формы. Масштаб карты должен быть сопоставим с размером пикселя изображения (погрешность отображения линейных объектов на бумажной карте составляет около 0.4 мм).

Матрица трансформирования - это таблица коэффициентов полиномиального трансформирования при переходе от исходной сетке координат к расчетной. Для полиномиального трансформирования n-го порядка полиномиальные уравнения имеют следующий вид:

где индекс

При п=1 (линейное трансформирование) уравнения (1) представляют собой обычную система линейных уравнений вида

Коэффициенты и рассчитываются по координатам контрольных точек методом наименьших квадратов. Координаты каждой контрольной точки вносят свой вклад в общую погрешность аппроксимации (рис.1). На этапе тестирования матрицы трансформирования средний квадрат ошибки и вклад в ошибку координат каждой контрольной точки отображаются в окнах процедуры трансформирования, что позволяет аналитику откорректировать положение контрольных точек для минимизации ошибок или заменить наименее удачные контрольные точки. Рис. 1.

В процедурах ректификации наиболее часто используются полиномы до третьего порядка включительно, хотя пакет ERDAS допускает полиномы до 5-го порядка. Линейное трансформирование чаще всего применяется для совмещения отсканированных карт или уже ректифицированных изображений. Для ректификации космических изображений обычно используются полиномы второго и третьего порядка.

Пересчет значений яркости пикселей при трансформировании изображения.

При трансформировании изображения узлами прямоугольной сетки, в которой будет представлено новое изображение, будут совсем не те пиксели, которые были в узлах исходной сетки. Поэтому значения яркости пикселей должны быть пересчитаны в соответствии с их новыми координатами. Существует три основных способа пересчета этих значений: метод ближайшего соседа, билинейная интерполяция и бикубическая свертка.

В методе ближайшего соседа пикселю с координатами (х,у), значение яркости которого в новой координатной сетке неизвестно, присваивается значение, которое имеет ближайший в новой сетке пиксель с известным значением яркости. Такой метод чаще всего применяется при трансформировании уже классифицированных (индексных) изображений, где яркость пикселя соответствует индексу его тематического класса.

Координаты пикселей

Рис.2. Линейная интерполяция по координате Y.

При билинейной интерполяции

неизвестная яркость пикселя рассчитывается из предположения, что на локальном участке изображения яркость в зависимости от значения координат изменяется по линейному закону (рис.2). То есть, искомое значение яркости - это координата V m точки (Y m ,V m) прямой, задаваемой яркостями двух ближайших пикселей справа и слева соответственно. Расчет производится с учетом обеих координат X и Y , отчего интерполяция и называется билинейной.

Поскольку данный метод обладает сглаживающим эффектом, билинейную интерполяцию целесообразно применять для изображений, не имеющих ярко выраженных структурных особенностей. Чаще всего это изображения неосвоенных территорий - лесные и тундровые массивы, пустыни, акватории океанов и морей.

При бикубической свертке значение пикселя с координатами (X r ,Y r), рассчитывается по

значениям пикселей внутри окна 4x4, как это показано на рис.3.

Используемая в ERDAS Imagine свертка имеет довольно сложный вид и дает комплексный эффект низкочастотного и высокочастотного фильтров. То есть обеспечивает, с одной стороны, некоторое поднятие контраста, с другой -сглаживание отдельных мелких деталей. В целом эффект метода зависит от типа изображения, но он может быть использован при наличии на изображении ярко выраженных структурных элементов.

Рис.3. Выбор окна для бикубической свертки.

Повышение разрешения многозональных изображений с использованием панхроматических изображений высокого разрешения. Основные этапы процесса. Способы реализации данной процедуры в пакете ERDAS Imagine.

В пакете ERDAS Imagine можно повысить пространственное разрешение многозонального изображения, имея черно-белый (т.е. панхроматический) снимок на эту же территорию. Процесс включает два этапа: 1) приведение пары изображений к единой системе координат; 2) собственно повышение разрешения. Несмотря на то, что второй этап выполняется в ERDAS Imagine одной процедурой, он тоже включает 2 задачи: 1) приведение изображений к единому масштабу, то есть растяжение многозонального снимка до масштаба панхроматического; 2) совмещение изображений и пересчет значений яркости пикселей в каждом канале с использованием значения соответствующего пикселя в панхроматическом канале. Простейший способ пересчета - мультипликативный, где новая яркость вычисляется по формуле: где- исходное значение пикселя, I рап - значение соответствующего пикселя в панхроматическом канале

Полученные значения затем приводятся к шкале , и, как Вы сможете убедиться, при более высокой детальности сохраняют отношения яркостей по каналам для каждого типа объектов. Выполнение в программе ERDAS Imagine:

1 Откройте во Viewer № 1 изображение panAtlanta.img из папки EXAMPLES. Для этого изображения уже выполнена географическая привязка. Характеристики картографической проекции можно посмотреть с помощью функции Utilities- > Layer Info.

2 В новом Viewer № 2 откройте многозональное изображение tmAtlanta.img. Это изображение будет использоваться как рабочее.

3 Первым этапом процесса будет привязка рабочего многозонального изображения к панхроматическому. Выберите во Viewer № 2 функцию Raster - > Geometric Correction. В окне Set Geometric Model выберите полиномиальную модель.

4 В окне Polynomial Model Properties установите степень полинома, который будет использоваться при трансформировании изображения. В данном случае достаточно полинома второго порядка.

5 В окне Geo Correction Tools выберите кружок с перекрестьем для создания набора опорных точек. В открывшемся окне GCP Tool Reference Setup должен быть установлен режим Existing Viewer. После подтверждения (ОК) у Вас появится окно с просьбой указать окно (Viewer) изображения, к которому будет выполняться привязка. Щелкните внутри окна с панхроматическим изображением и подтвердите свой выбор в появившемся окошке сообщения. После этого у Вас откроется весь инструментарий для трансформирования изображения по опорным точкам.

6 Опорные точки создаются в режиме нажатой кнопки «кружок с перекрестьем» из редактора опорных точек (таблица GCP Tools). Удобнее указывать эти точки внутри маленьких вспомогательных окошек, положение которых отображается прямоугольниками на основных изображениях. Размеры и положение этих прямоугольников регулируются с помощью курсора в режиме нажатой кнопки со стрелкой. Размер можно отрегулировать, зацепив курсором угол прямоугольника в перекрестье, положение изменяется путем перемещения линий перекрестья. Точки должны наноситься попарно на том и другом изображении. Если нанести сначала несколько точек на одном, а потом несколько точек на другом, программа не сможет их идентифицировать. Опорные точки следует располагать по изображению равномерно, иначе у Вас корректно трансформируется только тот

участок, на котором нанесено больше точек, а остальная часть изображения будет сильно искажена.

Если точка нанесена неудачно, ее можно удалить следующим образом. Выделите в таблице соответствующую строку щелчком на левом сером поле, где указаны номера строк. Затем на этом же поле нажмите правую кнопку мыши. Во всплывающем меню выберите Delete Selection. В этом же меню можно отменить выделение с помощью команды Select None или, наоборот, выбрать все строки (Select All)

7 После задания определенного числа опорных точек у Вас автоматически создастся матрица трансформирования с рассчитанными по этим точкам полиномиальными коэффициентами. Ошибки аппроксимации по каждой точке показываются в поле «RMS Error», а вклад каждой точки в ошибку - в поле «Contrib». Отклонения точки по X и по Y показываются в полях «X Residual» и «Y Residual» соответственно. Вы можете передвигать точку во Viewer; при этом ошибки будут меняться. Для приемлемого трансформирования все ошибки должны быть порядка 0.1 или ниже. Попробуйте сократить эти ошибки, передвигая курсор по X и по Y. Если это не удастся, то удалите неудачную точку. Для удаления выделите ее строку в таблице, щелкнув курсором на самом левом (сером) поле. После этого правой кнопкой на этом сером поле вызовите всплывающее меню и выберите Delete Selection

8 После набора некоторого количества опорных точек программа автоматически рассчитает Вам полином трансформирования. Чтобы проверить, правильно ли рассчитан этот полином, нанесите на одном из изображений одну-две контрольных опорных точки на тех участках, где Вы их еще не проставляли. Если при этом они появятся на другом изображении в тех же самых точках, то полином выбран корректно. В противном случае продолжайте процесс формирования опорных точек до получения необходимой точности.

9 После того, как Вы получите приемлемую по точности матрицу трансформирования, можно перейти к самому процессу трансформирования изображения (Resampling). В окне Geo Correction Tools выберите инструмент «косой квадрат». В открывшемся окне Resample откройте новый файл в собственной папке для записи результата трансформирования изображения. Справа установите желаемый способ пересчета пикселей изображения и нажмите ОК.

10 Выведите полученный результат в новый Viewer и убедитесь, что трансформирование выполнено правильно.

11 В блоке Interpreter выберите пункт меню Spatial Enhancement, а в открывшемся подменю - функцию Resolution Merge. В открывшемся окне по порядку слева на право откройте файлы: 1) панхроматического изображения; 2) многозонального трансформированного вами изображения; 3) выходного результата, который Вы собираетесь получить. Режимы можете выбрать те, которые установлены по умолчанию. Нажмите ОК.

12 Откройте полученный результат и убедитесь, что он существует. Если он отсутствует, попробуйте использовать другой режим пересчета пикселей.