Распознавание изображений по содержанию лиц. Простой случай, одномерное разделение. Почему умение распознавать объекты в изображениях важно для мирового digital-сообщества

Как тема исследований искусственного интеллекта распознавание изображений имеет давнюю историю и большое практическое значение. Впервые оно было использовано для машинного считывания рукописных цифр. В настоящее время область его применения существенно расширилась: начиная от измерений, контроля, сортировки и сборки в производственных процессах и кончая анализом изображений, считываемых на расстоянии, диагностикой по медицинским снимкам, количественной оценкой экспериментальных данных, идентификацией человека, автоматическим проектированием, пониманием изображений как функции технического зрения роботов и т.д. Процесс распознавания изображения человеком - не простая обработка зрительной информации, а сложный процесс, важную роль в котором играют психологические факторы. В частности, в процессе понимания изображения присутствует семантический вывод, однако для его реализации требуются сбор обширных знаний и интуитивные решения, выходящие за рамки логики, поэтому смоделировать такой процесс в компьютере чрезвычайно сложно.

В существующих средствах распознавания изображений используют различные методы в зависимости от того, является ли объект распознавания искусственным или естественным. В первом случае обычно имеют дело с отдельными предметами четкой формы, поэтому большое число исследований

посвящено сопоставлению образов путем обнаружения контуров и границ либо выводу трехмерной формы с использованием геометрических правил. Среди естественных объектов много объектов неправильной формы со светотенями, поэтому обычно с помощью кластерного анализа выполняют разбиение на однородные области, а затем по особенностям форм этих областей делают заключение об объекте. Кроме того, в последнее время проводится много исследований по воспроизведению двух- и трехмерных форм объектов на основе обработки большого числа изображений. В робототехнике возникает необходимость обработки подвижных изображений в реальном времени, т. е. большое значение приобретает скорость распознавания.

В общем случае процесс распознавания изображений с помощью компьютера заключается в следующем.

1. Получение с помощью камеры или другим способом информации об изображении и преобразование ее в цифровую информацию: в результате кадры делятся на большое число элементов, и каждому элементу приписывается цвет и контрастность.

2. Предварительная обработка. Удаление шумов, нормализация для сравнения с эталоном, сегментация (выделение локальной информации, необходимой для распознавания) и т. п.

3. Выделение признаков. Признаки изображения могут иметь различные уровни. Строго говоря, сегментация также является частью выделения признаков. Методы выделения признаков могут быть локальными и глобальными. Примером локального метода является обнаружение границ, глобального-кластеризация и метод расширения областей. Для обнаружения границ используются неоднородности между областями, в то время как кластеризация - это сегментация на основе обнаружения однородных областей. Поскольку в любом случае в информации об изображении содержится шум, не устраненный на этапе предварительной обработки, при сегментации необходима обработка нечеткой информации. Глобальное выделение признаков осуществляется по отношению к форме, свойствам, относительному положению и другим характеристикам выделенных областей. Эта процедура имеет большое значение для последующего этапа оценки.

4. Понимание и оценка. Процессом понимания изображения

называют либо классификацию и отождествление путем сравнения полученных кластеров с известными моделями, либо построение трехмерного изображения исходного объекта с помощью выводов. Результат этого процесса является заключительной целью распознавания изображений.

В настоящее время проведено огромное число исследований процесса распознавания изображений, но результаты пока крайне неудовлетворительны. Например, практически не затрагивались такие вопросы, как понимание сложных изображений, взаимное преобразование словесной и видеоинформации, распознавание предметов криволинейных и неправильных форм, распознавание размытых изображений, высокоэффективное выделение признаков, семантический вывод и воображение и т. п.

Основными методологическими подходами, принятыми в настоящее время в распознавании, являются статистика, кластерный анализ, дедукция в двузначной логике и ряд других, однако все они весьма далеки от того процесса распознавания, который свойствен человеку. Выделение признаков - наиболее важный этап в распознавании изображения, но и исключительно сложный. Действительно, что такое признак изображения? Почему карикатура обладает бблыиим сходством с человеком, чем его фотография? По-видимому, важную роль в процессе распознавания человеком играет информация, которая для компьютера представляется не более чем шумом, но она каким-то образом выделяется и представляется. Выявить признаки такого рода можно чувствами человека, а не логикой. Кроме того, при распознавании размытых изображений работают скорее не аналитические способности, а способности к обобщению, т.е. это также интуитивный процесс. Для имитации таких процессов необходимы исследования методов обработки субъективной информации и приемов обращения с макроинформацией. Исследования по нечеткому распознаванию изображений еще только начинаются, но уже сейчас ожидают дальнейшего развития новой методологии, отвечающей изложенным выше требованиям.

Рассмотрим кратко состояние нечеткого распознавания изображений. Поскольку видеоинформация даже достаточно четкого объекта может нарушаться за счет шумов, для обнаружения контуров чаще всего применяется нечеткая логика. Типичным примером является классификация

элементов изображения с помощью нечеткой кластеризации. Однако, поскольку абсолютно идентичные элементы встречаются редко, необходима «размытая» кластеризация. Аналогичные методы применяются и при классификации образов, имеющих разброс относительно эталонного образа (распознавание рукописных знаков, речи и т. п.).

При непосредственном обнаружении контуров возникает проблема шумов, не решаемая до конца с помощью фильтров. Кроме того, необходимы выводы для восполнения утраченных участков. Для этого применяют эвристические правила, имеющие, однако, нечеткий качественный характер. При переходе к этапу понимания изображения возникает проблема более эффективного нечеткого сопоставления образов, требующая для своего решения сопоставления не только по форме, но и по семантике. В частности, такая ситуация складывается в области диагностики по рентгеновским снимкам, где формирование правил невозможно.

Ниже приводится несколько типичных примеров исследований по распознаванию изображений с использованием нечеткой логики.

Выполнен обзор нейросетевых методов, используемых при распознавании изображений. Нейросетевые методы - это методы, базирующиеся на применении различных типов нейронных сетей (НС). Основные направления применения различных НС для распознавания образов и изображений:

• применение для извлечение ключевых характеристик или признаков заданных образов,
• классификация самих образов или уже извлечённых из них характеристик (в первом случае извлечение ключевых характеристик происходит неявно внутри сети),
• решение оптимизационных задач.

Архитектура искусственных НС имеет некоторое сходство с естественными нейронными сетями. НС, предназначенные для решения различных задач, могут существенно различаться алгоритмами функционирования, но их главные свойства следующие .

НС состоит из элементов, называемых формальными нейронами, которые сами по себе очень просты и связаны с другими нейронами. Каждый нейрон преобразует набор сигналов, поступающих к нему на вход в выходной сигнал. Именно связи между нейронами, кодируемые весами, играют ключевую роль. Одно из преимуществ НС (а так же недостаток при реализации их на последовательной архитектуре) это то, что все элементы могут функционировать параллельно, тем самым существенно повышая эффективность решения задачи, особенно в обработке изображений. Кроме того, что НС позволяют эффективно решать многие задачи, они предоставляют мощные гибкие и универсальные механизмы обучения, что является их главным преимуществом перед другими методами (вероятностные методы, линейные разделители, решающие деревья и т.п.). Обучение избавляет от необходимости выбирать ключевые признаки, их значимость и отношения между признаками. Но тем не менее выбор исходного представления входных данных (вектор в n-мерном пространстве, частотные характеристики, вэйвлеты и т.п.), существенно влияет на качество решения и является отдельной темой. НС обладают хорошей обобщающей способностью (лучше чем у решающих деревьев ), т.е. могут успешно распространять опыт, полученный на конечном обучающем наборе, на всё множество образов.

Опишем применение НС для распознавания изображений, отмечая возможности применения для распознавания человека по изображению лица.

1. Многослойные нейронные сети

Архитектура многослойной нейронной сети (МНС) состоит из последовательно соединённых слоёв, где нейрон каждого слоя своими входами связан со всеми нейронами предыдущего слоя, а выходами - следующего. НС с двумя решающими слоями может с любой точностью аппроксимировать любую многомерную функцию. НС с одним решающим слоем способна формировать линейные разделяющие поверхности, что сильно сужает круг задач ими решаемых, в частности такая сеть не сможет решить задачу типа “исключающее или”. НС с нелинейной функцией активации и двумя решающими слоями позволяет формировать любые выпуклые области в пространстве решений, а с тремя решающими слоями - области любой сложности, в том числе и невыпуклой. При этом МНС не теряет своей обобщающей способности. Обучаются МНС при помощи алгоритма обратного распространения ошибки, являющегося методом градиентного спуска в пространстве весов с целью минимизации суммарной ошибки сети. При этом ошибки (точнее величины коррекции весов) распространяется в обратном направлении от входов к выходам, сквозь веса, соединяющие нейроны.

Простейшее применение однослойной НС (называемой автоассоциативной памятью) заключается в обучении сети восстанавливать подаваемые изображения. Подавая на вход тестовое изображение и вычисляя качество реконструированного изображения, можно оценить насколько сеть распознала входное изображение. Положительные свойства этого метода заключаются в том, что сеть может восстанавливать искажённые и зашумленные изображения, но для более серьёзных целей он не подходит.

Рис. 1. Многослойная нейронная сеть для классификации изображений. Нейрон с максимальной активностью (здесь первый) указывает принадлежность к распознанному классу.

МНС так же используется для непосредственной классификации изображений – на вход подаётся или само изображение в каком-либо виде, или набор ранее извлечённых ключевых характеристик изображения, на выходе нейрон с максимальной активностью указывает принадлежность к распознанному классу (рис. 1). Если эта активность ниже некоторого порога, то считается, что поданный образ не относится ни к одному из известных классов. Процесс обучения устанавливает соответствие подаваемых на вход образов с принадлежностью к определённому классу. Это называется обучением с учителем. В применении к распознаванию человека по изображению лица, такой подход хорош для задач контроля доступа небольшой группы лиц. Такой подход обеспечивает непосредственное сравнение сетью самих образов, но с увеличением числа классов время обучения и работы сети возрастает экспоненциально. Поэтому для таких задач, как поиск похожего человека в большой базе данных, требует извлечения компактного набора ключевых характеристик, на основе которых можно производить поиск.

Подход к классификации с использованием частотных характеристик всего изображения, описан в . Применялась однослойная НС, основанная на многозначных нейронах. Отмечено 100% распознавание на базе данных MIT, но при этом осуществлялось распознавание среди изображений, которым сеть была обучена.

Применение МНС для классификации изображений лиц на основе таких характеристик, как расстояния между некоторыми специфическими частями лица (нос, рот, глаза), описано в . В этом случае на вход НС подавались эти расстояния. Использовались так же гибридные методы – в первом на вход НС подавались результаты обработки скрытой марковской моделью, а во втором – результат работы НС подавался на вход марковской модели. Во втором случае преимуществ не наблюдалось, что говорит о том, что результат классификации НС достаточен.

В показано применение НС для классификации изображений, когда на вход сети поступают результаты декомпозиции изображения по методу главных компонент.

В классической МНС межслойные нейронные соединения полносвязны, и изображение представлено в виде одномерного вектора, хотя оно двумерно. Архитектура свёрточной НС направлена на преодоление этих недостатков. В ней использовались локальные рецепторные поля (обеспечивают локальную двумерную связность нейронов), общие веса (обеспечивают детектирование некоторых черт в любом месте изображения) и иерархическая организация с пространственными подвыборками (spatial subsampling). Свёрточная НС (СНС) обеспечивает частичную устойчивость к изменениям масштаба, смещениям, поворотам, искажениям. Архитектура СНС состоит из многих слоёв, каждый из которых имеет несколько плоскостей, причём нейроны следующего слоя связаны только с небольшим числом нейронов предыдущего слоя из окрестности локальной области (как в зрительной коре человека). Веса в каждой точке одной плоскости одинаковы (свёрточные слоя). За свёрточным слоем следует слой, уменьшающий его размерность путём локального усреднения. Затем опять свёрточный слой, и так далее. Таким образом, достигается иерархическая организация. Более поздние слои извлекают более общие характеристики, меньше зависящие от искажений изображения. Обучается СНС стандартным методом обратного распространения ошибки. Сравнение МНС и СНС показало существенные преимущества последней как по скорости, так и по надёжности классификации. Полезным свойством СНС является и то, что характеристики, формируемые на выходах верхних слоёв иерархии, могут быть применимы для классификации по методу ближайшего соседа (например, вычисляя евклидово расстояние), причём СНС может успешно извлекать такие характеристики и для образов, отсутствующих в обучающем наборе. Для СНС характерны быстрая скорость обучения и работы. Тестировании СНС на базе данных ORL, содержащей изображения лиц с небольшими изменениями освещения, масштаба, пространственных поворотов, положения и различными эмоциями, показало приблизительно 98% точность распознавания, причём для известных лиц, предъявлялись варианты их изображений, отсутствующие в обучающем наборе. Такой результат делает эту архитектуру перспективной для дальнейших разработок в области распознавания изображений пространственных объектов.

МНС применяются и для обнаружения объектов определённого типа. Кроме того, что любая обученная МНС в некоторой мере может определять принадлежность образов к “своим” классам, её можно специально обучить надёжному детектированию определённых классов. В этом случае выходными классами будут классы принадлежащие и не принадлежащие к заданному типу образов. В применялся нейросетевой детектор для обнаружения изображения лица во входном изображении. Изображение сканировалось окном 20х20 пикселей, которое подавалось на вход сети, решающей принадлежит ли данный участок к классу лиц. Обучение производилось как с использованием положительных примеров (различных изображений лиц), так и отрицательных (изображений, не являющихся лицами). Для повышения надёжности детектирования использовался коллектив НС, обученных с различными начальными весами, вследствие чего НС ошибались по разному, а окончательное решение принималось голосованием всего коллектива.

Рис. 2. Главные компоненты (собственные лица) и разложение изображения на главные компоненты.

НС применяется так же для извлечения ключевых характеристик изображения, которые затем используются для последующей классификации. В , показан способ нейросетевой реализации метода анализа главных компонент. Суть метода анализа главных компонент заключается в получении максимально декореллированных коэффициентов, характеризующих входные образы. Эти коэффициенты называются главными компонентами и используются для статистического сжатия изображений, в котором небольшое число коэффициентов используется для представления всего образа. НС с одним скрытым слоем содержащим N нейронов (которое много меньше чем размерность изображения), обученная по методу обратного распространения ошибки восстанавливать на выходе изображение, поданное на вход, формирует на выходе скрытых нейронов коэффициенты первых N главных компонент, которые и используются для сравнения. Обычно используется от 10 до 200 главных компонент. С увеличением номера компоненты её репрезентативность сильно понижается, и использовать компоненты с большими номерами не имеет смысла. При использовании нелинейных активационных функций нейронных элементов возможна нелинейная декомпозиция на главные компоненты. Нелинейность позволяет более точно отразить вариации входных данных. Применяя анализ главных компонент к декомпозиции изображений лиц, получим главные компоненты, называемые собственными лицами (holons в работе ), которым так же присуще полезное свойство – существуют компоненты, которые в основном отражают такие существенные характеристики лица как пол, раса, эмоции. При восстановлении компоненты имеют вид, похожий на лицо, причём первые отражают наиболее общую форму лица, последние – различные мелкие отличия между лицами (рис. 2). Такой метод хорошо применим для поиска похожих изображений лиц в больших базах данных. Показана так же возможность дальнейшего уменьшения размерности главных компонент при помощи НС . Оценивая качество реконструкции входного изображения можно очень точно определять его принадлежность к классу лиц.

Задача распознавания сводится к селекции (выделению) заданных для вскрытия объектов среди других обнаруженных объектов естественного и искусственного происхождения. В задачу распознавания входит также определение класса и типа выделенных объектов и их функционального состояния. Особенно важной и ответственной задачей при принятии решения является распознавание специальных ложных целей (надувных макетов, уголковых отражателей и т.п.), а также объектов по принадлежности свой - чужой.

Повышение эффективности решения задачи распознавания объектов достигается двумя путями:

повышением информативности используемых распознавательных признаков (характеристик) объекта;

формированием в РСА новых распознавательных признаков заданных объектов.

Обычно критерием выбора распознавательных признаков и методов повышения их эффективности является принцип разумной достаточности, так как формирование новых и повышение характеристик используемых признаков требует перераспределения (расходования) располагаемых ресурсов (вычислительных, энергетических, временных) РСА, которые всегда ограничены критическими технологиями и тактическими требованиями.

Быстрое развитие технологий РСА позволяет использовать распознавательные признаки все более широкого класса. Далее анализируются основные распознавательные признаки объектов при их наблюдении РСА.

Характерные размеры РЛИ объекта. К характерным размерам объекта относятся его длина, ширина, высота, площадь и объем, определяемые числом элементов разрешения в РЛИ объекта. Дополнительным признаком является форма РЛИ объекта.

Рассмотрим методику расчета вероятности распознавания цели на примере использования площади объекта в качестве распознавательного признака. Вероятность распознавания целей определяется многими факторами:

ансамблем распознаваемых целей;

априорными сведениями о классе наблюдаемых целей;

свойствами выбранных распознавательных признаков;

алгоритмом принятия решения о классе цели.

В качестве ансамбля распознаваемых целей принимается набор типовых целей. При этом каждый раз при определении вероятности распознавания целей предполагается наличие двух целей с наиболее близкими параметрами, т.е. наихудший случай. Кроме того, полагаем, что априорные сведения о наличии той или иной цели отсутствуют, т.е. наличие двух близких по параметрам целей равновероятно.

такая точность достигается с запасом.

О классе цели №2.

Пиксела), одинаковых заданных потерях при ошибках классификации первого и второго рода, отсутствии потерь при точных решениях и одинаковых априорных вероятностях появления целей каждого класса значение площади раздела равно:

правильной классификации первой цели равна:

то

Площади изображения цели можно аппроксимировать гауссовой кривой:

при наблюдении первой цели определяется интегралом вероятности:

- нормированное граничное значение разделения

площади первой цели относительно второй.

для различных нормированных значений границы раздела

вероятность распознавания будет равна 0,7.

на характерном размере изображения. В табл. 7.4 даны значения требуемой разрешающей способности РСА для обнаружения и распознавания типовых объектов при наблюдении их РЛИ опытным оператором.

В настоящее время достигнута разрешающая способность 0,3x0,3 м, а в отдельных

экспериментах даже 0,1x0,1 м,

что позволяет распознавать малоразмерные цели, имеющие размеры единицы метров.

Решение задачи селекции ложных целей, имеющих такие же характерные размеры, как и заданные цели, требует привлечения дополнительных распознавательных признаков.

Амплитудный портрет объекта. Амплитудный портрет - это детальное изображение объекта в виде распределения ЭПР объекта по элементам разрешения РЛИ. В качестве распознавательных признаков используются статистические характеристики ЭПР.

Среднее значение ЭПР, полученное усреднением реализации амплитуды РЛИ за несколько обзоров, характеризует распределение отражающей способности объекта по элементам разрешения.

Корреляционная функция характеризует взаимосвязь амплитуд РЛИ как в разрешаемом элементе от обзора к обзору, так и между элементами. Рассматриваются также законы распределения плотности вероятности амплитуд РЛИ.

Трудностью использования этих признаков является получение банка данных для заданного класса (типов) объектов, что требует больших экспериментальных работ. Рассматривается также возможность расчета на ЭВМ статистических характеристик РЛИ объектов.

Поляризационные портреты объекта. В настоящее время при распознавании объекта используются в основном однополяризационные функции отражения, когда излучаемая и принимаемая электромагнитная волна имеет одну и ту же поляризацию (ГГ или ВВ). Развитие техники антенн-поляриметров дало возможность формировать полную поляризационную матрицу функции отражения объекта. При этом РЛИ объекта, полученные при различных поляризациях, несут информацию о конструкции и структуре материала объекта. Так, значительно отличаются РЛИ объектов естественного и искусственного происхождения в зависимости от поляризации, а также у специальных ложных целей.

Основной проблемой при создании полнополяриметрической РСА является значительное усложнение аппаратной и программной (алгоритмической) частей. Фактически работают параллельно четыре канала приема сигнала и обработки данных. Также весьма сложной задачей является определение (в основном экспериментальное) поляризационной матрицы функции отражения объектов для различных условий наблюдения.

Трехмерный портрет объекта. Обычно РЛИ объекта формируется в виде плоской картины в проекции на земную поверхность. В то же время значительная информация о классе и типе объекта заключена в высоте объекта. Кроме естественного изменения высоты земной поверхности (рельефа местности), РСА позволяет получать изображение микрорельефа объекта, т.е. изменение рельефа местности, связанное с наличием вскрываемого объекта (капониры, карьеры, отдельные сооружения, техника и т.п.).

Угол визирования (в радианах). Так, при угле визирования в 6° объект высотой Ь = 10 м дает тень длиной 100 м.

При средних и больших углах визирования, а также при сложном характере рельефа Земли в районе объекта метод радиолокационных теней не работает. Поэтому для измерения высоты объекта используют угломерный способ с помощью реальной антенны РСА. Чем больше размер антенны, тем выше точность измерения высоты. Для упрощения конструкции антенны обычно используют две разнесенных в угломестной плоскости антенны (интерферометр). Разность фаз сигналов одного и того же разрешаемого по дальности и азимуту элемента объекта, принимаемых антеннами интерферометра, пропорциональна высоте объекта. По этой информации строится трехмерный портрет объекта.

Основным направлением развития таких интерферометрических РСА является повышение точности измерения высоты. Для этого увеличивают разнос антенн. Так, в экспериментальных РСА получена точность измерения высоты рельефа местности 0,3 м с дискретностью изображения 1...3 м.

Для уменьшения влияния растительности, покрывающей объекты, интерферометрическая РСА может работать в дециметровом диапазоне.

Рассматриваются также сверхширокополосные системы в диапазонах 215...900 МГц и 100...600 МГц, которые могут работать в двух поддиапазонах дециметровом и метровом - с полосой частот 100 МГц. На малых дальностях (единицы километров) обеспечивается высокое разрешение по азимуту и дальности, что позволяет получать детальные изображения объектов в различных диапазонах волн.

Динамический портрет объекта. Движение объекта и его отдельных частей является одним из самых важных распознавательных признаков, который лежит в основе не только распознавания класса и типа, но и функционального состояния объекта.

Задача формирования динамического портрета отдельных сосредоточенных объектов, наблюдаемых на фоне подстилающей поверхности, решается на различных уровнях.

В первом случае используется режим СДЦ, который позволяет селектировать движущиеся объекты по их радиальной скорости. Основное направление развития режима СДЦ - снижение минимальной радиальной скорости цели, при которой принимается решение о движении объекта. В настоящее время считается возможным обнаружение целей, движущихся со скоростью 1...2 м/с. При этом для подавления сигнала неподвижного фона используют антенну-интерферометр с двумя разнесенными вдоль линии пути фазовыми центрами.

В режиме СДЦ осуществляется не только селекция, но и измерение радиальной составляющей скорости и азимута объектов. Для этого используется пространственно-временная обработка сигналов, при которой необходима антенна с тремя и более фазовыми центрами. При одновременном формировании изображений движущихся и неподвижных объектов число необходимых фазовых центров возрастает. Возможно также одновременное измерение тангенциальной и радиальной составляющих скорости объекта при точности измерения порядка 2.. .3 м/с.

При распознавании движущегося (вращающегося) объекта возможно получение детального РЛИ методами обратного (инверсного) синтезирования. При этом даже небольшое изменение угла наблюдения объекта (угол поворота объекта относительно линии объект - РСА) или его отдельных элементов позволяет получить высокое разрешение. Например, при изменении угла на 3° возможно разрешение в плоскости поворота, равное 5... 10 длинам волн.

Вторым основным направлением использования динамического портрета является определение функционального состояния объекта. Боевая работа (стрельба, пуск ракет), а также маневрирование, движение отдельных частей объекта, работа двигателя вызывают пространственно-временную модуляцию функции отражения объекта и соответственно траекторного сигнала РСА. Обнаружение и определение параметров этой модуляции позволяет распознавать объект (класс, тип, ложная цель) и судить о его функциональном состоянии.

В случае распределенного объекта (например, водной поверхности) имеется возможность формирования динамического (частотного, фазового) портрета поверхности. Так, скоростной портрет морской поверхности (радиальная скорость движения морской поверхности в координатах дальность - азимут) позволяет определять степень регулярного волнения, турбулентности различного рода, течения. Скоростной портрет позволяет обнаруживать и распознавать морские объекты по их следам на морской поверхности, определять степень волнения в интересах судовождения и участки загрязнения (экология, следы катастроф).

Важным распознавательным признаком являются также конфигурация и взаимное перемещение группы объектов, что требует точного измерения координат и вектора скорости всех объектов в группе.

Селекция ложных целей. Проблема селекции (выделения) среди обнаруженных объектов специально созданных ложных целей (ЛЦ), схожих по ряду распознавательных признаков с заданными объектами, является одной из наиболее сложных.

Методы создания ЛЦ непрерывно совершенствуются. На первом этапе в качестве ЛЦ использовались уголковые отражатели с ЭПР, равной ЭПР объекта. С ростом разрешающей способности потребовались более сложные по конфигурации ЛЦ, которые стали повторять геометрический образ объекта (например, надувные макеты), что определяло сходство РЛИ объекта и ложной цели. Буксируемые (движущиеся) ЛЦ повторяют динамику движения объекта.

Основным направлением решения задачи селекции ЛЦ является увеличение числа распознавательных признаков объекта, формируемых РСА. Чем больше распознавательных признаков используется в РСА, тем сложнее имитировать функцию отражения, схожую с функцией отражения объекта. В этом плане эффективно использование поляризационных и частотных различий функции отражения.

Режимы формирования поляризационных, трехмерных и динамических портретов будут рассмотрены в дальнейших разделах.

• Обязательный курс для студентов 3 курса каф. ММП , читается в 6 семестре
• Обязательный курс для студентов 1 курса магистратуры каф. АСВК , читается в 2 семестре
• Лекции - 32 часа
• Форма контроля - экзамен
• Автор программы: профессор Местецкий Л.М.
• Лектор: профессор Местецкий Л.М.

Аннотация

Основу курса составляют математические методы распознавания образов, используемые для анализа и классификации изображений в системах компьютерного зрения. Отличительные особенности методов распознавания для этого класса задач определяются структурой исходных данных – цифровых изображений в виде матриц цвета и яркости точек. Эти особенности сказываются в основном на специфике генерации признаковых описаний объектов, а также специфике построения метрики в пространстве образов.

В первую часть курса (18 часов) входят вопросы преобразования изображений различного типа с целью генерации признаковых описаний. Вначале изучаются методы точечной, пространственной геометрической, алгебраической и межкадровой обработки изображений. Далее рассматриваются методы генерации признаков на основе разложения изображений по базисным функциям (преобразование Карунена-Лоева, дискретное преобразование Фурье, вейвлет-разложение), статистического анализа текстуры изображений, а также анализа формы изображений (построение границ, скелетов, преобразование Хафа).

Во второй части курса (8 часов) рассматриваются методы построения метрик для сравнения изображений (сравнение спектральных разложений, наложение и выравнивание образов).

В последнюю часть курса (6 часов) входят вопросы применения изученных методов в прикладных задачах компьютерного зрения. Рассматриваются задачи распознавания текстов в изображениях документов, задачи биометрической идентификации личности по текстуре радужной оболочки глаза, по форме ладони, отпечатка пальца, профиля лица. Далее изучаются применения к распознаванию динамических объектов в наблюдаемых сценах для распознавания поз и жестов.

Предмет и задачи обработки и распознавания цифровых изображений

Растровые устройства получения и воспроизведения изображений (камеры, сканеры, дисплеи, принтеры), оцифровка изображений. Модели изображений. Задачи обработки, анализа и классификации изображений. Прикладные системы, программное обеспечение.

Точечные методы обработки изображений

Гистограммы интенсивности. Преобразования на основе анализа гистограмм интенсивности. Точечные преобразования (просветление, негативное изображение, бинаризация, псевдораскрашивание).

Пространственные методы обработки изображений

Пространственная частота изображения. Свертка изображения. Построение фильтров: низкочастотные, полосные и высокочастотные фильтры. Усиление края, методы Лапласа, Робертса, Кирша и Собеля, методы сдвига и разности, метод направленного градиента.

Геометрические и алгебраические методы обработки изображений

Алгебраические преобразования (сложение, вычитание изображений). Геометрические преобразования (монохромная интерполяция, аффинные и нелинейные преобразования).

Методы межкадровой обработки изображений

Геометрия нескольких проекций. Стереозрение. Определение движения объекта.

Анализ изображений на основе разложения по базисным функциям

Базисные вектора и базисные матрицы. Разложение Карунена-Лоева. Дискретное преобразование Фурье. Косинусное преобразование. Непрерывное и дискретное вейвлетные преобразования. Вейвлетное разложение. Вейвлетная селекция.

Статистические методы анализа текстур

Региональные признаки. Методы измерения текстур, основанные на статистиках первого порядка. Методы измерения текстур, основанные на статистиках второго порядка.

Методы анализа формы изображений

Концепции формы. Сегментация, выделение формы. Представление формы. Характеристики формы и их измерение. Скелетизация. Преобразование Хафа. Бинарная математическая морфология. Эрозия и дилатация. Морфологические алгоритмы на дискретных бинарных изображениях.

Метрики для измерения сходства изображений

Сравнение спектральных разложений. Классификация методом сравнения с эталоном. Сходство, основанное на поиске оптимального пути. Принцип оптимальности Беллмана и динамическое программирование. «Беспризнаковое» распознавание.

Распознавание текстов по изображениям документов

Сегментация документов и текстов. Выравнивание текстов. Распознавание печатных символов. Распознавание рукописных текстов.

Биометрическая идентификация на основе распознавания изображений

Классификацияи радужных оболочек глаза методом Даугмана. Классификация силуэтов ладоней методом сравнеия гибких объектов. Метод выделения особых точек в папиллярном узоре.

Распознавание динамических сцен

Распознавание жестов. Распознавание мимики. Распознавание поз.

Самостоятельная работа студента

Вычислительный практикум по обработке и классификации изображений

Задание 1. Тема: Изучение и освоение методов обработки и сегментации изображений. Разработать и реализовать программу для работы с изображений фишек игрового набора Тантрикс.

Задание 1, PDF

Задание 2. Тема: Изучение и освоение методов классификации формы изображений. Разработать и реализовать программу для классификации изображений ладоней. »

Я продолжаю серию статей посвящённую тематике pattern recognition, computer vision и machine learning. Сегодня я вам представляю обзор алгоритма, который носит название eigenface.

В основе алгоритма лежит использование фундаментальных статистических характеристик: средних (мат. ожидание) и ковариационной матрицы ; использование метода главных компонент . Мы также коснёмся таких понятий линейной алгебры, как собственные значения (eigenvalues) и собственные вектора (eigenvectors) (wiki: , eng). И вдобавок, поработаем в многомерном пространстве.
Как бы страшно всё это не звучало, данный алгоритм, пожалуй, является одним из самых простых рассмотренных мною, его реализация не превышает нескольких десятков строк, в тоже время он показывает неплохие результаты в ряде задач.

Для меня eigenface интересен поскольку последние 1.5 года я занимаюсь разработкой, в том числе, статистических алгоритмов обработки различных массивов данных, где очень часто приходится иметь дело со всеми вышеописанными «штуками».

Инструментарий

По сложившейся, в рамках моего скромного опыта, методике, после обдумывания какого-либо алгоритма, но перед его реализацией на С/С++/С#/Python etc., необходимо быстро (насколько это возможно) создать математическую модель и опробовать её, что-нибудь посчитать. Это позволяет внести необходимые коррективы, исправить ошибки, обнаружить то, что не было учтено при размышлении над алгоритмом. Для этого всего я использую MathCAD . Преимущество MathCAD в том, что наряду с огромным количеством встроенных функций и процедур, в нём используется классическая математическая нотация. Грубо говоря, достаточно знать математику и уметь писать формулы.

Краткое описание алгоритма

Как и любой алгоритм из серии machine learning, eigenface необходимо сначала обучить, для этого используется обучающая выборка (training set), представляющая собой изображения лиц, которые мы хотим распознать. После того как модель обучена, мы подадим на вход некоторое изображение и в результате получим ответ на вопрос: какому изображению из обучающей выборки с наибольшей вероятностью соответствует пример на входе, либо не соответствует никакому.

Задача алгоритма представить изображение как сумму базисных компонент (изображений):

Где Ф i – центрированное (т.е. за вычетом среднего) i-ое изображение исходной выборки, w j представляют собой веса и u j собственные вектора (eigenvectors или, в рамках данного алгоритма, eigenfaces).

На рисунке выше мы получаем исходное изображение взвешенным суммированием собственных векторов и прибавлением среднего. Т.е. имея w и u, мы можем восстановить любое исходное изображение.

Обучающую выборку необходимо спроецировать в новое пространство (причём пространство, как правило, гораздо больше размерности, чем исходное 2х мерное изображение), где каждая размерность будет давать определённый вклад в общее представление. Метод главных компонент позволяет найти базис нового пространство таким образом, чтобы данные в нём располагались, в некотором смысле, оптимально. Чтобы понять, просто представьте, что в новом пространстве некоторые размерности (aka главные компоненты или собственные вектора или eigenfaces) будут «нести» больше общей информации, тогда как другие будут нести только специфичную информацию. Как правило, размерности более высокого порядка (отвечающие меньшим собственным значениям) несут гораздо меньше полезной (в нашем случае под полезной понимается нечто, что даёт обобщённое представление о всей выборке) информации, чем первые размерности, соответствующие наибольшим собственным значениям. Оставляя размерности только с полезной информацией, мы получаем пространство признаков, в котором каждое изображение исходной выборки представлено в обобщённом виде. В этом, очень упрощённо, и состоит идея алгоритма.
Далее, имея на руках некоторое изображение, мы можем отобразить его на созданное заранее пространство и определить к какому изображению обучающей выборки наш пример расположен ближе всего. Если он находится на относительно большом расстоянии от всех данных, то это изображение с большое вероятностью вообще не принадлежит нашей базе.

За более подробным описанием я советую обращаться к списку External links википедии.

Небольшое отступление. Метод главных компонент имеет достаточно широкое применение. Например, в своей работе я его использую для выделения в массиве данных компонент определённого масштаба (временного или пространственного), направления или частоты. Он может быть использован как метод для сжатия данных или метод уменьшения исходной размерности многомерной выборки.

Создание модели

Для составления обучающей выборки использовалась Olivetti Research Lab"s (ORL) Face Database . Там имеются по 10 фотографий 40 различных людей:

Для описания реализации алгоритма я буду вставлять сюда скриншоты с функциями и выражениями из MathCAD и комментировать их. Поехали.

FaceNums задаёт вектор номеров лиц, которые будут использоваться в обучении. varNums задаёт номер варианта (согласно описанию базы у нас 40 директорий в каждой по 10 файлов изображений одного и того же лица). Наша обучающая выборка состоит из 4х изображений.
Далее мы вызываем функцию ReadData. В ней реализуется последовательное чтение данных и перевод изображения в вектор (функция TwoD2OneD):

Таким образом на выходе имеем матрицу Г каждый столбец которой является «развёрнутым» в вектор изображением. Такой вектор можно рассматривать как точку в многомерном пространстве, где размерность определяется количеством пикселей. В нашем случае изображения размером 92х112 дают вектор из 10304 элементов или задают точку в 10304-мерном пространстве.

2. Необходимо нормализовать все изображения в обучающей выборке, отняв среднее изображение. Это делается для того, чтобы оставить только уникальную информацию, убрав общие для всех изображений элементы.

Функция AverageImg считает и возвращает вектор средних. Если мы этот вектор «свернём» в изображение, то увидим «усреднённое лицо»:

Функция Normalize вычитает вектор средних из каждого изображения и возвращает усреднённую выборку:

3. Следующий шаг это вычисление собственных векторов (они же eigenfaces) u и весов w для каждого изображения в обучающей выборке. Другими словами, это переход в новое пространство.

Вычисляем ковариационную матрицу, потом находим главные компоненты (они же собственные вектора) и считаем веса. Те, кто познакомятся с алгоритмом ближе, въедут в математику. Функция возвращает матрицу весов, собственные вектора и собственные значения. Это все необходимые для отображения в новое пространство данные. В нашем случае, мы работаем с 4х мерным пространством, по числу элементов в обучающей выборке, остальные 10304 - 4 = 10300 размерности вырождены, мы их не учитываем.

Собственные значения нам, в целом, не нужны, но по ним можно проследить кое-какую полезную информацию. Давайте взглянем на них:

Собственные значения на самом деле показывают дисперсию по каждой из осей главных компонент (каждой компоненте соответствует одна размерность в пространстве). Посмотрите на правое выражение, сумма данного вектора = 1, а каждый элемент показывает вклад в общую дисперсию данных. Мы видим, что 1 и 3 главные компоненты дают в сумме 0.82. Т.е. 1 и 3 размерности содержат 82% всей информации. 2ая размерность свёрнута, а 4ая несёт 18% информации и нам она не нужна.

Распознавание

Модель составлена. Будем тестировать.

Мы создаём новую выборку из 24 элементов. Первые 4ре элемента те же, что и в обучающей выборке. Остальные это разные варианты изображений из обучающей выборки:

Далее загружаем данные и передаём в процедуру Recognize. В ней каждое изображение усредняется, отображается в пространство главных компонент, находятся веса w. После того как вектор w известен необходимо определить к какому из существующих объектов он ближе всего расположен. Для этого используется функция dist (вместо классического евклидова расстояния в задачах распознавания образов лучше применять другую метрику: расстояние Махалонобиса). Находится минимальное расстояние и индекс объекта к которому данное изображение расположено ближе всего.

На выборке из 24 показанных выше объектов эффективность классификатора 100%. Но есть один ньюанс. Если мы подадим на вход изображение, которого нет в исходной базе, то всё равно будет вычислен вектор w и найдено минимальное расстояние. Поэтому вводится критерий O, если минимальное расстояние < O значит изображение принадлежит к классу распознаваемых, если минимальное расстояние > O, то такого изображения в базе нет. Величина данного критерия выбирается эмпирически. Для данной модели я выбрал O = 2.2.

Давайте составим выборку из лиц, которых нет в обучающей и посмотрим насколько эффективно классификатор отсеет ложные образцы.

Из 24 образцов имеем 4 ложных срабатывания. Т.е. эффективность составила 83%.

Заключение

В целом простой и оригинальный алгоритм. В очередной раз доказывает, что в пространствах большей размерности «скрыто» множество полезной информации, которая может быть использована различным образом.  Вкупе с другими продвинутыми методиками eigenface может применятся с целью повышения эффективности решения поставленных задач.

Например, у нас в качестве классификатора применяется простой distance classifier. Однако мы могли бы применить более совершенный алгоритм классификации, например