Вы поднимаетесь по лестнице и заходите в лифт. Он знает, на какой этаж вам нужно. Двери в квартиру сами открываются перед вами. Компьютер и телефон «узнают» вас и не требуют ввода пароля.

На первый взгляд может показаться, что любая организация, которая может себе такое позволить, следит за каждым вашим шагом, собирает на вас досье. Но вы даже не представляете, как широко технологии распознавания лиц распространились по миру и какие мощные перспективы обещают. Помимо выше приведенных примеров, системы распознавания лиц позволяют делать и такие простые и сложные вещи:

• подтверждение личности студента во время онлайн-экзаменов;
• определение людей из «черного списка» на входе на стадионы и ночные клубы;
• оплата товаров;
• сохранение вашего места в очереди при посещении парка аттракционов;
• разблокировка телефона или компьютера.

Что говорить, если в одной только Москве уже работает сеть из более 150 000 камер наружного видеонаблюдения. От них никуда не скрыться, и это заставляет людей задумываться, но масштабы «слежки» не настолько велики. Сеть использует мощную систему распознавания лиц, но для ее работы необходимо много энергии, поэтому в режиме реального времени работают всего 2-4 тысячи камер. Массовым слежением за населением пока только пугают, поэтому стоит сосредоточиться на реальных плюсах работы данной технологии. Но обо всем по порядку.

Как работает система распознавания лиц?

Никогда не задумывались о том, как вы сами узнаете лицо, распознаете его? А как это делает компьютер? Конечно, у человеческих лиц есть определенные свойства, которые легко описать. Расстояние между глазами, положение и ширина носа, форма надбровных дуг и подбородка - все эти детали вы подмечаете бессознательно, когда смотрите на другого человека. Компьютер же делает все это с определенной эффективностью и точностью, потому что, совмещая все эти метрики, получает математическую формулу человеческого лица.

Итак, насколько хорошо работает система распознавания лиц в настоящее время? Вполне неплохо, но иногда ошибается. Если вы когда-нибудь сталкивались с ПО, распознающим лица на Facebook или на другой платформе, вы наверняка замечали, что забавных результатов бывает столько же, сколько и точных. И все же, хотя технология работает не со 100-процентной точностью, она достаточно хороша, чтобы найти широкое применение. И даже заставить понервничать.

Пол Хоуи из NEC говорит, что их система распознавания лиц сканирует лица на предмет индивидуальных идентификаторов:

«К примеру, многие считают расстояние между глазами уникальной характеристикой. Или же это может быть расстояние от подбородка до лба и другие компоненты. Мы, в частности, учитываем 15-20 факторов, которые считаются важными, а также другие факторы, уже не настолько значимые. Создается трехмерное изображение головы человека, поэтому даже если она частично будет закрыта, мы все равно сможем получить точное соответствие. Затем система берет сигнатуру лица и пропускает ее через базу данных».

Стоит ли переживать о программах, распознающих лица?

Прежде всего, распознавание лиц - это данные. Данные можно собирать и хранить, зачастую без разрешения. Как только информация собрана и сохранена, она открыта и для взлома. Платформы с ПО, распознающим лица, пока не подвергались серьезным взломам, но по мере распространения технологий ваши биометрические данные оказываются в руках все большего числа людей.

Существуют также вопросы владения. Большинство людей не знают, что когда они регистрируются в социальных медиаплатформах вроде Facebook, их данные с этого момента принадлежат этой самой Facebook. Поскольку число компаний, использующих распознавание лиц, постоянно растет, очень скоро даже не придется загружать собственные фотографии в Интернет, чтобы оказаться скомпрометированным. Они уже там хранятся, и хранятся давно.

Говоря о программном обеспечении, все они работают по-разному, но в основе своей используют похожие методы и нейросети. У каждого лица есть множество отличительных признаков (в мире невозможно найти два идентичных лица, а ведь сколько их было за всю историю человечества!). К примеру, программное обеспечение FaceIt определяет эти признаки как узловые точки. Каждое лицо содержит примерно 80 узловых точек, схожих с теми, что мы упоминали прежде: расстояние между глазами, ширина носа, глубина глазных впадин, форма подбородка, длина челюсти. Эти точки измеряются и создают числовой код - «отпечаток лица» - который затем попадает в базу данных.

В прошлом распознавание лиц опиралось на двумерные снимки для сравнения или идентификации других двумерных снимков из базы данных. Для пущей эффективности и точности изображение должно было быть лицом, прямо смотрящим в камеру, с небольшой дисперсией света и без особого выражения лица. Конечно, работало это чертовски плохо.

В большинстве случаев снимки не создавались в подходящей среде. Даже небольшая игра света могла снизить эффективность системы, что приводило к высоким показателям отказа.

На смену 2D пришло 3D-распознавание. Эта недавно появившаяся тенденция в программном обеспечении использует 3D-модель, обеспечивающую высокую точность распознавания лица. Запечатлевая трехмерное изображение поверхности лица человека в реальном времени, ПО выделяет отличительные черты - где больше всего выдаются жесткие ткани и кость, например, кривые глазного гнезда, носа и подбородка - для идентификации субъекта. Эти области уникальны и не меняются со временем.

Используя глубину и ось измерения, на которые не влияет освещение, система трехмерного распознавания лиц может даже использоваться в темноте и распознавать объекты под разными углами (даже в профиль). Подобное программное обеспечение проходит через несколько этапов, идентифицируя человека:

• Обнаружение: получение снимка при помощи цифрового сканирования существующей фотографии (2D) или видео для получения живой картинки субъекта (3D).
• Центровка: определив лицо, система отмечает положение головы, размер и позу.
• Измерение: система измеряет кривые на лице с точностью до миллиметра и создает шаблон.
• Репрезентация: система переводит шаблон в уникальный код. Этот код задает каждому шаблону набор чисел, представляющих особенности и черты лица.
• Сопоставление: если снимок в 3D и база данных содержит трехмерные изображения, сопоставление пройдет без изменений снимка. Но если же база данных состоит из двумерных снимков, трехмерное изображение раскладывается на разные составляющие (словно сделанные под разными углами двумерные снимки одних и тех же черт лица), и они конвертируются в 2D-изображения. И затем находится соответствие в базе данных.
• Верификация или идентификация: в процессе верификации снимок сравнивается только с одним снимков в базе данных (1:1). Если целью же стоит идентификация, снимок сравнивается со всеми снимками в базе данных, что приводит к ряду возможных совпадений (1:N). Применяется тот или иной другой метод по необходимости.

Где используются системы распознавания лиц?

В прошлом системы распознавания лиц находили применение в основном в сфере правоохранения, поскольку органы использовали их для поиска случайных лиц в толпе. Некоторые правительственные учреждения также использовали подобные системы для безопасности и для устранения мошенничества на выборах.

Однако есть много других ситуаций, в которых такое программное обеспечение становится популярным. Системы становятся дешевле, их распространение растет. Теперь они совместимы с камерами и компьютерами, которые используются банками и аэропортами. Туристические агентства работают над программой «бывалого путешественника»: с ее помощью они проводят быстрый скрининг безопасности для пассажиров, которые добровольно предоставляют информацию. Очереди в аэропортах будут продвигаться быстрее, если люди будут проходить через систему распознавания лиц, сопоставляющую лица с внутренней базой данных.

Другие потенциальные применения включают банкоматы и терминалы выдачи наличных денег. Программное обеспечение может быстро проверить лицо клиента. После разрешения клиента банкомат или терминал делает снимок лица. Программное обеспечение создает отпечаток лица, защищающий клиента от кражи личных данных и мошеннических транзакций, - банкомат просто не выдаст деньги человеку с другим лицом. Даже ПИН-код не потребуется.

Волшебство? Технологии!

Особенно важным и интересным может быть развитие технологии распознавания лиц в сфере банковских переводов. На днях российский банк «Открытие» представил собственное уникальное решение, разработанное под технологическим брендом Open Garage: перевод денег по фотографии в мобильном приложении «Открытие.Переводы». Вместо того чтобы вбивать номер карты или телефона, достаточно просто сфотографировать человека, которому нужно сделать перевод. Система распознавания лиц сравнит фото с эталонным (делается, когда банк выдает карту) и подскажет имя и фамилию. Останется только выбрать карту и ввести сумму. Что особенно важно, клиенты сторонних банков также могут использовать эту функцию для переводов клиентам «Открытия» - отправитель переводов может пользоваться картой любого российского банка.

«Использование фотографии клиента вместо номера банковской карты - это принципиально новый подход к онлайн-переводам, основанный на использовании нейросетевой системы распознавания лиц, которая позволяет с высокой степенью точности идентифицировать клиента по его биометрическим данным, - говорит начальник Управления развития партнерских систем банка «Открытие» Алексей Матвеев. - Сервис открывает для пользователей совершенно новые жизненные сценарии для выполнения денежных переводов. В настоящее время ни один из участников финансового рынка в мире не предлагает подобного сервиса своим клиентам».

Технологии распознавания лиц применяются в самых разнообразных сферах :

• обеспечение безопасности в местах большого скопления людей;
• системы охраны, избежание незаконного проникновения на территорию объекта, поиск злоумышленников;
• фейс-контроль в сегменте общепита и развлечений, поиск подозрительных и потенциально опасных посетителей;
• верификация банковских карт;
• онлайн-платежи;
• контекстная реклама, цифровой маркетинг , Intelligent Signage и Digital Signage ;
• фототехника;
• криминалистика;
• телеконференции;
• мобильные приложения;
• поиск фото в больших базах фотоснимков;
• отметка людей на фото в социальных сетях и многие другие.

IBM выпустила базу из 1 млн фотографий лиц для обучения биометрических систем

2018

Распознавание лиц не работает в каждом втором смартфоне

В начале января 2019 года некоммерческая организация из Голландии провела тестирование 110 моделей смартфонов и обнаружила, что функция распознавания лиц, используемая для блокировки устройств, не работает должным образом более чем на каждом втором аппарате.

Исследование, проведенное Consumentenbond и его международными партнерами, показало, что для разблокировки 42 из протестированных смартфонов достаточно иметь фотографию владельца телефона. Подойдет любая фотография, например, полученная из социальных сетей, с камер видеонаблюдения или любым другим способом.

Программная технология распознавания лиц, доступная владельцам многих смартфонов под управлением Android, достигла такого уровня развития, что уже не позволяет обмануть себя фотографией владельца

Результаты этого исследования вызывают беспокойство у пользователей и служб безопасности. Использование напечатанной фотографии лица владельца - это первая проверка функции распознавания лиц, которую используют обычные пользователи и тестеры. Но главное, это первая уловка, которой попробуют воспользоваться злоумышленники для взлома смартфона , защищенного идентификацией лица, прежде чем перейти к более сложным атакам, которые включают создание масок или 3D-печатных голов владельца телефона.

Любая система распознавания лиц, которая не проходит «фототест», обычно считается бесполезной. Согласно Consumentenbond, модели Asus , BlackBerry , Huawei , Lenovo , , Nokia , Samsung , Sony и Xiaomi не прошли подобные тесты. В случае с Sony провалили тест абсолютно все модели. Еще шесть моделей - Honor и шесть моделей LG - прошли тестирование только в «строгом» режиме. Хотя по результатам этого теста пользователи могут заключить, что включать распознавание лиц не стоит, 68 устройств, включая флагманские модели Apple iPhone XR и , выдержали эту простую атаку, как и многие другие высокопроизводительные модели на Android от Samsung, Huawei, OnePlus и Honor.

Полный список моделей, которые прошли фототест, можно найти на сайте Consumentenbond.

Самые популярные системы распознавания лиц в Китае

Одной из наиболее распространенных программ для распознавания лиц является Face++ , которая используется для управления доступом повсюду – от железнодорожных вокзалов Пекина до офисного здания Alibaba .

Сама Alibaba разработала собственные системы, которые будут применяться в шанхайском метро для идентификации пассажиров с помощью их лица и голоса.

Полицейские, следящие за безопасностью на одном из китайских железнодорожных вокзалов, носят специальные солнечные очки с функцией распознавания лиц. Устройство способно идентифицировать человека за 100 миллисекунд и уже не раз помогало правоохранительным органам в поимке преступников.

В китайском Шеньчжене впервые в мире заработала камера фиксации нарушений пешеходами. Она установлена на одном из напряженных переходов города и следит за людьми, перебегающими дорогу на запрещающий сигнал светофора. Для определения личности нарушителя камера использует технологию распознавания лиц.

На вступительных экзаменах в колледжи по всей стране используется распознавание лиц и отпечатков пальцев, чтобы гарантировать, что экзаменуемые являются настоящими студентами.

После ряда похищений детей некоторые детские сады открывают двери только тем людям, чьи лица зарегистрированы в системе. В одном из детских садов установили более 200 камер для обеспечения безопасности.

Даже в некоторых туалетах установили автоматы с распознаванием лиц. Аппарат выдает 60 см туалетной бумаги одному человеку не чаще чем раз в девять минут.

У Alibaba есть магазины с безналичной оплатой Hema, в которых пользователи сканируют лицо и вводят номер телефона для проведения платежей через систему Alipay .

Компания Alibaba совместно с производителем гостиничных информационных систем Shiji установила систему распознавания лиц для регистрации в 50 отелях. Китайские туристы, прибегающие к услугам онлайн-турагентства Fliggy (принадлежащего Alibaba), могут сначала забронировать в нем отель, а затем, используя «маску» своего лица быстро заселиться в отель и оформить депозит.

В Пекине решили бороться с незаконной арендой госжилья с помощью умных замков, распознающих хозяев по лицу

В конце декабря 2018 года стало известно, что в государственном жилье Пекина ускоренными темпами внедряются «умные» замки с технологией распознавания лиц. С их помощью местные власти усиливают меры против незаконной пересдачи в аренду государственного жилья, предоставляемого малообеспеченным семьям по льготным расценкам.

"Умный" замок с распознаванием лиц

Предполагается, что к концу июня 2019 года замки со встроенной системой сканирования лиц будут использоваться во всех программах предоставления льготного госжилья в Пекине с участием 120 тыс. квартиросъемщиков, сообщает The South China Morning Post со ссылкой на пекинское издание The Beijing News.

Сопоставляя информацию, полученную при сканировании лиц посетителей, с изображениями из сохраненной базы данных, система распознает хозяев и не открывает двери незнакомцам, рассказал в интервью Beijing News директор информцентра при Пекинском государственном жилищном центре Шан Чжэньюй (Shan Zhenyu).

Кроме того, система может использоваться для присмотра за одинокими пожилыми людьми. Если престарелый человек в течение определенного периода времени не выходит и не заходит в дом, управляющему по недвижимости будет отправлено уведомление о необходимости зайти с проверкой.

В таких крупных мегаполисах, как Пекин, аренда жилья очень дорогая. В среднем съемная квартира в столице Поднебесной обходится примерно в 5 тыс. юаней в месяц (около $730), тогда как арендная плата за госжилье может составлять менее 2 тыс. юаней в месяц ($290).

Власти Пекина надеются, что умные замки, узнающие хозяев по лицу, повысят безопасность, предотвратят незаконную передачу в субаренду и гарантируют, что льготой пользуются только действительно нуждающиеся люди.

По состоянию на конец 2018 года смарт-замки с распознаванием лиц задействованы в 47 программах предоставления льготного госжилья в Пекине. С их помощью получено порядка 100 тысяч скан-изображений лиц арендаторов и членов их семей.

Китайский Airbnb устанавливает в домах «умные» замки с распознаванием лиц

Провал в Лондоне. Система распознавания лиц в метро никого не узнает

В конце декабря 2018 года стало ясно, что развернутая в лондонском метро система распознавания лиц никого не узнает. Лондонских полицейских критикуют за использование немаркированных фургонов для проверки спорных и неточных технологий автоматического распознавания лиц у рождественских покупателей. Подробнее .

Туалеты с распознаванием лиц в Китае сокращают потребление туалетной бумаги

В конце 2018 года стало известно о растущем в Китае числе общественных туалетов с системой распознавания лиц, которая позволяет экономить туалетную бумагу.

В декабре такой туалет заработал в Baotu Spring Park в городе Цзинань (провинция Шаньдун), расположенный в 400 км к югу от Пекина. В этой уборной находится автомат, выдающий туалетную бумагу после сканирования лица. За один подход аппарат выдает примерно 70 см бумаги, а для получения дополнительной порции санитарно-гигиеническго изделия этому же человеку нужно подождать 9 минут и снова поднести голову к камере для идентификации.

Для разблокировки смартфона хакеры и полиция печатают голову владельца на 3D-принтере

В 14 американских аэропортах заработала система распознавания лиц

20 августа 2018 года в 14 американских аэропортах заработала система распознавания лиц. О ее эффективности рассказала Служба таможенного и пограничного контроля (U.S. Customs and Border Patrol, CBP).

Как сообщается на сайте ведомства, 22 августа 26-летний пассажир, прилетевший в Вашингтонский аэропорт имени Даллеса из Сан-Паулу (Бразилия), предъявил на пункте контроля паспорт гражданина Франции. Однако биометрическая система выявила, что лицо мужчины не совпадает с фотографией в документе.

В аэропорту Вашингтона система распознавания лиц поймала мужчину - он пытался въехать в США с чужим паспортом

Когда прибывшего в США отправили на дополнительный досмотр, он «явно нервничал» и, как выяснилось, не зря. В его туфле нашли удостоверение личности на имя гражданина республики Конго, которым на самом деле являлся задержанный. Теперь за попытку въехать в США под фальшивыми документами ему грозит тюремное заключение.

Системы распознавания лиц полиции Британии оказались бесполезными

В мае 2018 года стало известно о больших проблемах в системах распознавания лиц, которые используют британские полицейские. В результате может быть подано большое количество исков - этот вопрос стал «приоритетным» для Управления комиссара по информации (Information Commissioner"s Office), приводит BBC слова представителя регулятора Элизабет Денхем (Elizabeth Denham).

Британская правозащитная организация Big Brother Watch опубликовала результаты исследования, показавшие «ошеломляющее» количество невиновных людей, из которых технология распознавания лиц сделала потенциальных преступников.

Так, с мая 2017 года по март 2018-го система выдала для полиции Южного Уэльса 2685 совпадений людей с базой данных подозреваемых, однако 2451 из них оказались ложными.

Лондонские правоохранительные органы применяли технологию идентификации лиц на карнавале Ноттинг-Хилл в 2017 году. Показания системы оказались ошибочными в 98% случаев, когда срабатывал сигнал о том, что якобы замечен подозреваемый из полицейской базы данных. Решение устроено так, что при выявлении возможного нарушителя закона на пульт дежурного в ближайшее отделение полиции поступает сигнал.

Полиция начала винить выдающие некачественную картинку камеры и то, что систему использовали в первый раз, но и в последующих 15 мероприятиях (футбольные матчи, фестивали, парады), во время которых задействовали технологию, результат не улучшился. Только на трех система не ошиблась ни разу.

В полиции также рассказали, что за девять месяцев работы системы распознавания лиц она верно отметила более 2 тыс. человек, что привело к 450 арестам. При этом никто не попал в заключение ошибочно. Это объясняется тем, что помимо работы алгоритмов в работе задействованы люди, которые проверяют срабатывания и принимают окончательные решения.

Ученые изобрели новый способ обмана систем распознавания лиц

С каждым днем системы распознавания лиц становятся сложнее и все чаще используются в повсеместной жизни, к примеру, в минувшем году компания Apple выпустила смартфон iPhone X, оснащенный биометрической системой Face ID . Однако подобные системы можно обмануть, в частности, с помощью инфракрасных светодиодов. Инфракрасные лучи не видимы простому глазу, однако большинство камер могут улавливать инфракрасные сигналы .

Китайские исследователи создали бейсбольную кепку, оснащенную миниатюрными инфракрасными светодиодами, которые размещены таким образом, что инфракрасные лучи, падающие на лицо владельца головного убора, помогают не только скрыть его личность, но и «выдать себя за другого человека для прохождения основанной на распознавании лица аутентификации». Данная задача более сложная и требует использования глубокой нейронной сети для распознавания статичного изображения лица и правильного проецирования инфракрасных лучей на лицо самозванца.

Для проверки своей теории исследователи использовали фотографии четырех случайных людей, им удалось обмануть системы распознавания лиц в 70% случаев при условии наличия небольшого внешнего сходства между жертвой и самозванцем.

«На основании наших находок и атак, мы можем сделать вывод, что существующие на сегодняшний день технологии распознавания лиц сложно назвать безопасными и надежными в аспекте критических сценариев, таких как аутентификация и наблюдение», - заключили исследователи. Они также добавили, что инфракрасные светодиоды можно прятать не только в бейсбольных кепках, но также в зонтах, волосах или париках.

Российские близнецы требуют с Apple 20 млн за то, что iPhone X не видит между ними разницы

Братья-близнецы из Владимира - 26-летние Александр и Илья Тунчики - направили в российский офис компании Apple претензию в связи с тем, что система распознавания лиц Face ID на их смартфонах iPhone X одинаково идентифицирует обоих молодых людей, тем самым, по их мнению, нарушая защиту персональных данных .

Обиженные пользователи требуют от компании усовершенствовать технологию, а также компенсировать моральный ущерб в размере 20 млн руб., сообщил в январе 2018 год ТАСС представляющий интересы братьев юрист Роман Ардыкуца.

«Близнецы приобрели… iPhone X именно ради того, чтобы воспользоваться функцией разблокировки экрана при помощи лиц. К их разочарованию, каждый аппарат узнает обоих братьев, о чем они не были предупреждены при покупке, эта информация отсутствует в инструкции. Именно поэтому заявители просят компанию доработать технологию», - пояснил он.

2017

Распознавание лиц в ритейле

В ноябре 2017 года телеканал CNBC выпустил сюжет, рассказывающий о внедрении систем распознавания лиц в магазинах. Ритейлеры используют такие технологии для сбора данных о клиентах и подбора предложений на основе соответствующих данных.

В ритейле распознавание лиц применяется в основном для того, чтобы мотивировать покупателей. Например, если человека узнают на входе в магазин и видят его историю покупок, то сотрудники магазина лучше знают, что ему предложить. Так, если он покупал в магазине электроники телевизор, сотрудник его узнает, обратится по имени и предложит приобрести новый пульт.

По данным гонконгской ИТ-компании Jardine One Solution (JOS), многие розничные сети применяют возможности распознавания лиц для того, чтобы собирать данные о посетителях своих магазинов.

Сама JOS помогает розничным компаниям с распознаванием лиц клиентов с целью составления профиля покупателей и отслеживания их действий в торговой точке. Речь идет о таких данных, как количество посетителей, их возраст, пол, этническая принадлежность. Такие сведения помогают магазинам лучше знать о потоке клиентов и подбирать персонализированные предложения для них, отметил Лант.

К примеру, используя анализ данных, поступающих из систем распознавания лиц, можно подбирать музыку, играющую в торговом зале.

В JOS говорят, все полученные данные клиентов анонимны, однако вопрос конфиденциальности остается актуальным. Технологии не препятствуют внедрению таких систем, но есть опасения, связанные с личными данными и культурой, признает Марк Лант.

Он добавил, что ритейлеры тратят огромные средства на предотвращение утечек данных и защиту информации. Скандал, связанный с хищением данных миллионов клиентов Uber , показывает, что компании не могут чувствовать себя в безопасности, а пользователи должны проявлять осторожность, раскрывая персональную информацию, считает управляющий директор JOS.

Основатель и генеральный директор компании HeadCount (предлагает магазинам услуги по мониторингу и улучшению посещаемости) Марк Риски (Mark Ryski) говорит, что биометрические данные, в том числе те, которые генерируют системы распознавания лиц, относятся к категории деликатным и имеют большой потенциал - особенно в целях обеспечения безопасности и улучшения качества обслуживания клиентов.

Пример использования системы распознавания лиц в магазинах

По мнению старшего вице-президента по стратегии обслуживания клиентов компании InMoment Бреннана Уилки (Brennan Wilkie), у использования оборудования для распознавания лиц в торговых помещениях действительно есть большой потенциал. Например, такие устройства способны сопоставить выражение лица клиента в магазине с данными о нем, его лояльности бренду и других покупках. Для того, чтобы смягчить проблему конфиденциальности пользователей, магазинам нужно продемонстрировать клиентам, какие преимущества они получают, как это было в свое время с кассами самообслуживания или с банковскими картами с чипами, уверен он.

Согласно прогнозу аналитической компании MarketsandMarkets , объем мирового рынка систем распознавания лиц достигнет $6,8 млрд к 2021 году.

Авторизацию в iPhone X по лицу взломали маской за $150. Видео

Как обойти сканер лица на Samsung Galaxy Note 8

Веб-дизайнер Мэл Тахон опубликовал в своем твиттере видео о том, как легко обойти сканер лица на Galaxy Note 8. В своем эксперименте Тахон держит два Note 8 напротив друг друга, на одном из которых - его фото, а на другом - включенная система сканирования лица.

Обман биометрической защиты Samsung Galaxy S8

Исследователям удалось выдать белого мужчину за Миллу Йовович почти в 90 процентах случаев. Женщину азиатской внешности в специальных очках компьютер в стольких же процентах случаев принимал за мужчину с Ближнего Востока.

Кроме того, они попробовали свой метод на коммерческой программе Face++, которая используется в Alibaba для авторизации платежей. В этом случае они не сажали человека в очках перед камерой, а сначала делали его фотографию в очках и потом загружали ее в программу. В итоге им удалось выдать одного человека за другого в 100 процентах случаев.

Общественные организации США против распознавания лиц

Коалиция из 52 общественных и правозащитных организаций направила в Министерство юстиции письмо с просьбой расследовать чрезмерное использование технологий распознавания лиц в работе органов правопорядка. Также коалицию беспокоит неодинаковая точность машинного распознавания лиц разной расовой принадлежности, которая может стать основой для проявления расизма со стороны сотрудников органов .

Особенно этими технологиями злоупотребляет местная полиция, полиция штатов и ФБР , гласит письмо. Коалиция просит Министерство юстиции в первую очередь заняться проверкой тех полицейских департаментов, которые уже находятся под следствием в связи с предвзятым отношением к гражданам с небелым цветом кожи.

Основанием для просьбы послужили результаты исследования Центра приватности и технологий Школы права университета Джорджтауна. Исследование показало, что лица половины взрослого населения США при разных обстоятельствах были отсканированы правительственным идентификационным ПО.

Исследователи отмечают, что в США на сегодняшний день не существует серьезных правил, регулирующих использование этого ПО. По словам Альваро Бедойи (Alvaro Bedoya), директора Центра и соавтора исследования, сфотографировавшись на водительские права, человек уже попадает в базу лиц полиции или ФБР. Это особенно существенно с учетом того, что распознавание лиц бывает неточным, и в этом случае может наносить вред невинным гражданам.

Примеры проектов в HSBC, MasterCard и Facebook

Услуга будет доступна для корпоративных клиентов НSBC. Через банковское мобильное приложение они смогут открывать счета по одному щелчку селфи. Банк же подтверждает личность клиента с помощью программы распознавания лиц. Фотография сличается со снимками, ранее загруженными в систему, например, с паспорта или водительских прав. Предполагается, что новый сервис избавит от необходимости запоминать цифровые коды и сократит время идентификации.

Чтобы воспользоваться данной опцией, пользователям необходимо будет скачать специальное приложение на свой компьютер, планшет или смартфон. Затем посмотреть в камеру или использовать сканер устройства для распознавания отпечатков пальцев (если он имеется на устройстве). Однако (по крайней мере, на данный момент), пользователям все еще потребуется дополнительно предоставлять данные своей банковской карты. Лишь в том случае, если потребуется дополнительная идентификация, то пользователи смогут воспользоваться вышеописанной опцией.

Благодаря такому новому подходу, MasterCard собирается защитить пользователей от поддельных онлайн-транзакций, которые осуществляются с помощью краденых паролей пользователей, а также предоставить пользователям более удобную систему авторизации. Компания сообщила, что 92% людей, которые тестировали эту новую систему, предпочли ее традиционным паролям.

Некоторые эксперты сомневаются в защите информации от того, чтобы кибер-преступники не смогли легко получить отпечатки пальцев пользователя или фотографию его лица в том случае, если транзакция осуществляется при небезопасном использовании публичной сети Wi-Fi .

Эксперты по кибер-безопасности утверждают, что система должна включать несколько уровней безопасности для предотвращения потенциальной кражи фотографий лица пользователей. Ведь онлайн-платежи представляют собой привлекательную мишень для кибер-преступников.

В конце 2015 года группа экспертов из Технического Университета Берлина продемонстрировала возможность извлечения PIN -кода любого смартфона при использовании сэлфи пользователя. Для этого они считывали данный код, который отображался в глазах пользователя, когда он вводил его на своем телефоне OPPO N1. Хакеру достаточно просто перехватить контроль над фронтальной камерой смартфона для выполнения этой элементарной атаки. Смог бы кибер-преступник перехватить контроль за устройством пользователя, сделать его сэлфи и после этого выполнить онлайн-платежи с помощью набранного пароля, который хакер увидел в глазах своей жертвы?

MasterCard настаивает на том, что ее механизмы обеспечения безопасности будут в состоянии обнаруживать подобное поведение. Например, пользователям необходимо будет мигать для приложения, чтобы продемонстрировать «живой» образ человека, а не его фотографию или предварительно снятое видео. Система сопоставляет изображение лица пользователя, конвертируя его в код и передавая его по безопасному протоколу через Интернет в MasterCard. Компания обещает, что эта информация будет безопасно храниться на ее серверах, при этом сама компания не сможет реконструировать лицо пользователя.

Летом 2016 года стало известно, что исследователи обошли систему биометрической аутентификации, используя фото из Facebook . Атака стала возможной благодаря потенциальным уязвимостям, присущим социальным ресурсам .

Команда исследователей из Университета штата Северная Каролина продемонстрировали метод обхода систем безопасности, построенных на технологии распознавания лиц, при помощи доступных фотографий пользователей соцсетей. Как поясняется в докладе специалистов, атака стала возможной благодаря потенциальным уязвимостям, присущим социальным ресурсам.

«Не удивительно, что личные фото, размещенные в социальных сетях, могут представлять угрозу конфиденциальности. Большинство крупных соцсетей рекомендуют пользователям установить настройки конфиденциальности при публикации фото на сайте, однако многие из этих снимков часто доступны широкой публике или могут быть просмотрены только друзьями. Кроме того, пользователи не могут самостоятельно контролировать доступность своих фото, размещенных другими подписчиками», - отмечают ученые.

В рамках эксперимента исследователи отобрали фотографии 20 добровольцев (пользователей Facebook, Google+ , LinkedIn и других социальных ресурсов). Затем они использовали данные снимки для создания трехмерных моделей лиц, «оживили» их с помощью ряда анимационных эффектов, наложили на модель текстуру кожи и откорректировали взгляд (при необходимости). Получившиеся модели исследователи протестировали на пяти системах безопасности, четыре из них удалось обмануть в 55-85% случаев.

Согласно отчету компании Technavo (зима 216 года) одной из ключевых тенденций, оказывающих положительное влияние на рынок технологий биометрической идентификации по лицу (facial recognition ), является внедрение мультимодальных биометрических систем в таких секторах, как здравоохранение , банковский, финансовый сектор, сектор ценных бумаг и страхования, сектор перевозок, автомобильный транспорт, а также в госсекторе.

Основатель проекта Биньямин Леви (Benjamin Levy) рассказал, что благодаря высокому уровню защищенности IsItYou сможет распознать 99999 из 100 тысяч случаев обмана. Леви попытался убедить банки о необходимости внедрения его системы уже в следующем году. Она будет использоваться для проведения финансовых транзакций.

Google уже использует функцию распознавания лица в Android . Таким образом можно разблокировать устройство под управлением этой мобильной ОС . Тем не менее, разработчики неоднократно утверждали, что распознавание лица недостаточно защищено по сравнению с классическими способами. В связи с этим эксперты засомневались в утверждениях Биньямина Леви.

Мариос Саввидис (Marios Savvedes) из университета Карнеги-Меллон занимается исследованием функции распознавания лица. Он считает, что самостоятельно проведенное испытание на защищенность IsItYou не может быть надежным.

Такого же мнения придерживается мировой эксперт в области биометрии доктор Массимо Тистарелли (Massimo Tistarelli). Он сказал, что в Европе проводится полномасштабный научный проект Tabula Rasa, главная цель которого - разработка защиты от мошенничества для биометрических способов идентификации. По его словам, перед выходом на рынок следует провести ряд независимых исследований, подтверждающих эффективность продукта.

Первым шагом на нашем конвейере является обнаружение лиц . Совершенно очевидно, что необходимо выделить все лица на фотографии, прежде чем пытаться распознавать их!

Если вы использовали в последние 10 лет какую-либо фотографию, то вы, вероятно, видели, как действует обнаружение лиц:

Обнаружение лиц - великое дело для фотокамер. Если камера может автоматически обнаруживать лица, то можно быть уверенным, что все лица окажутся в фокусе, прежде чем будет сделан снимок. Но мы будем использовать это для другой цели - нахождение областей изображения, которые надо передать на следующий этап нашего конвейера.

Обнаружение лица стало господствующей тенденцией в начале 2000-х годов, когда Пол Виола и Майкл Джонс изобрели способ обнаруживать лица , который был достаточно быстрым, чтобы работать на дешёвых камерах. Однако сейчас существуют намного более надёжные решения. Мы собираемся использовать метод, открытый в 2005 году , - гистограмма направленных градиентов (коротко, HOG ).

Для обнаружения лиц на изображении мы сделаем наше изображение чёрно-белым, т.к. данные о цвете не нужны для обнаружения лиц:

Затем мы рассмотрим каждый отдельный пиксель на нашем изображении последовательно. Для каждого отдельного пикселя следует рассмотреть его непосредственное окружение:

Нашей целью является выделить, насколько тёмным является текущий пиксель по сравнению с пикселями, прямо примыкающими к нему. Затем проведём стрелку, показывающую направление, в котором изображение становится темнее:

При рассмотрении этого одного пикселя и его ближайших соседей видно, что изображение темнеет вверх вправо.

Если повторить этот процесс для каждого отдельного пикселя на изображении, то, в конечном итоге, каждый пиксель будет заменён стрелкой. Эти стрелки называют градиентом , и они показывают поток от света к темноте по всему изображению:

Может показаться, что результатом является нечто случайное, но есть очень хорошая причина для замены пикселей градиентами. Когда мы анализируем пиксели непосредственно, то у тёмных и светлых изображений одного и того же человека будут сильно различающиеся значения интенсивности пикселей. Но если рассматривать только направление изменения яркости, то как тёмное, так и светлое изображения будут иметь совершенно одинаковое представление. Это значительно облегчает решение проблемы!

Но сохранение градиента для каждого отдельного пикселя даёт нам способ, несущий слишком много подробностей. Мы, в конечном счёте, не видим леса из-за деревьев . Было бы лучше, если бы мы могли просто видеть основной поток светлого/тёмного на более высоком уровне, рассматривая таким образом базовую структуру изображения.

Для этого разбиваем изображение на небольшие квадраты 16х16 пикселей в каждом. В каждом квадрате следует подсчитать, сколько градиентных стрелок показывает в каждом главном направлении (т.е. сколько стрелок направлено вверх, вверх-вправо, вправо и т.д.). Затем рассматриваемый квадрат на изображении заменяют стрелкой с направлением, преобладающим в этом квадрате.

В конечном результате мы превращаем исходное изображение в очень простое представление, которое показывает базовую структуру лица в простой форме:

Исходное изображение преобразовано в HOG-представление, демонстрирующее основные характеристики изображения независимо от его яркости.

Чтобы обнаружить лица на этом HOG-изображении, всё, что требуется от нас, это найти такой участок изображения, который наиболее похож на известную HOG-структуру, полученную из группы лиц, использованной для обучения:

Используя этот метод, можно легко находить лица на любом изображении:

Если есть желание выполнить этот этап самостоятельно, используя Python и dlib, то имеется программа , показывающая, как создавать и просматривать HOG-представления изображений.

Шаг 2. Расположение и отображение лиц

Итак, мы выделили лица на нашем изображении. Но теперь появляется проблема: одно и то же лицо, рассматриваемое с разных направлений, выглядит для компьютера совершенно по-разному:

Люди могут легко увидеть, что оба изображения относятся к актёру Уиллу Ферреллу, но компьютеры будут рассматривать их как лица двух разных людей.

Чтобы учесть это, попробуем преобразовывать каждое изображение так, чтобы глаза и губы всегда находились на одном и том же месте изображения. Сравнение лиц на дальнейших шагах будет значительно упрощено.

Для этого используем алгоритм, называемый «оценка антропометрических точек» . Есть много способов сделать это, но мы собираемся использовать подход, предложенный в 2014 году Вахидом Кэземи и Джозефином Салливаном .

Основная идея в том, что выделяется 68 специфических точек (меток ), имеющихся на каждом лице, - выступающая часть подбородка, внешний край каждого глаза, внутренний край каждой брови и т.п. Затем происходит настройка алгоритма обучения машины на поиск этих 68 специфических точек на каждом лице:

68 антропометрических точек мы располагаем на каждом лице

Ниже показан результат расположения 68 антропометрических точек на нашем тестовом изображении:

СОВЕТ ПРОФЕССИОНАЛА НОВИЧКУ: этот же метод можно использовать для ввода вашей собственной версии 3D-фильтров лица реального времени в Snapchat!

Теперь, когда мы знаем, где находятся глаза и рот, мы будем просто вращать, масштабировать и сдвигать изображение так, чтобы глаза и рот оказались отцентрованы как можно лучше. Мы не будем вводить какие-либо необычные 3D-деформации, поскольку они могут исказить изображение. Мы будет делать только базовые преобразования изображения, такие как вращение и масштабирование, которые сохраняют параллельность линий (т.н. аффинные преобразования):

Теперь независимо от того, как повёрнуто лицо, мы можем отцентровать глаза и рот так, чтобы они были примерно в одном положении на изображении. Это сделает точность нашего следующего шага намного выше.

Если у вас есть желание попытаться выполнить этот шаг самостоятельно, используя Python и dlib, то имеется программа для нахождения антропометрических точек и программа для преобразования изображения на основе этих точек .

Шаг 3. Кодирование лиц

Теперь мы подошли к сути проблемы - само различение лиц. Здесь-то и начинается самое интересное!

Простейшим подходом к распознаванию лиц является прямое сравнение неизвестного лица, обнаруженного на шаге 2, со всеми уже отмаркированными лицами. Если мы найдём уже отмаркированное лицо, очень похожее на наше неизвестное, то это будет означать, что мы имеем дело с одним и тем же человеком. Похоже, очень хорошая идея, не так ли?

На самом деле при таком подходе возникает огромная проблема. Такой сайт как Фейсбук с миллиардами пользователей и триллионами фотографий не может достаточно циклично просматривать каждое ранее отмаркированное лицо, сравнивая его с каждой новой загруженной картинкой. Это потребовало бы слишком много времени. Необходимо распознавать лица за миллисекунды, а не за часы.

Нам требуется научиться извлекать некоторые базовые характеристики из каждого лица. Затем мы могли бы получить такие характеристики с неизвестного лица и сравнить с характеристиками известными лиц. Например, можно обмерить каждое ухо, определить расстояние между глазами, длину носа и т.д. Если вы когда-либо смотрели телесериал о работе сотрудников криминалистической лаборатории Лас-Вегаса («C.S.I.: место преступления»), то вы знаете, о чём идёт речь:

Как в кино! Так похоже на правду!

Самый надёжный метод обмерить лицо

Хорошо, но какие характеристики надо получить с каждого лица, чтобы построить базу данных известных лиц? Размеры уха? Длина носа? Цвет глаз? Что-нибудь ещё?

Оказывается, что характеристики, представляющиеся очевидными для нас, людей, (например, цвет глаз) не имеют смысла для компьютера, анализирующего отдельные пиксели на изображении. Исследователи обнаружили, что наиболее адекватным подходом является дать возможность компьютеру самому определить характеристики, которые надо собрать. Глубинное обучение позволяет лучше, чем это могут сделать люди, определить части лица, важные для его распознавания.

Решение состоит в том, чтобы обучить глубокую свёрточную нейронную сеть (именно это мы делали в выпуске 3). Но вместо обучения сети распознаванию графических объектов, как мы это делали последний раз, мы теперь собираемся научить её создавать 128 характеристик для каждого лица.

Процесс обучения действует при рассмотрении 3-х изображений лица одновременно:

1. Загрузите обучающее изображение лица известного человека

2. Загрузите другое изображение лица того же человека

3. Загрузите изображение лица какого-то другого человека

Затем алгоритм рассматривает характеристики, которые он в данный момент создаёт для каждого из указанных трёх изображений. Он слегка корректирует нейронную сеть так, чтобы характеристики, созданные ею для изображений 1 и 2, оказались немного ближе друг к другу, а для изображений 2 и 3 - немного дальше.

Единый «строенный» шаг обучения:

После повтора этого шага миллионы раз для миллионов изображений тысяч разных людей нейронная сеть оказывается в состоянии надёжно создавать 128 характеристик для каждого человека. Любые десять различных изображений одного и того же человека дадут примерно одинаковые характеристики.

Специалисты по обучению машин называют эти 128 характеристик каждого лица набором характеристик (признаков) . Идея сведения сложных исходных данных, таких как, например, изображение, к списку генерируемых компьютером чисел оказалась чрезвычайно перспективной в обучении машин (в частности, для переводов). Такой подход для лиц, который мы используем, был предложен в 2015 году исследователями из Гугл , но существует много аналогичных подходов.

Кодировка нашего изображения лица

Процесс обучения свёрточной нейронной сети с целью вывода наборов характеристик лица требует большого объёма данных и большой производительности компьютера. Даже на дорогой видеокарте NVidia Telsa требуется примерно 24 часа непрерывного обучения для получения хорошей точности.

Но если сеть обучена, то можно создавать характеристики для любого лица, даже для того, которое ни разу не видели раньше! Таким образом, этот шаг требуется сделать лишь один раз. К счастью для нас, добрые люди на OpenFace уже сделали это и предоставили доступ к нескольким прошедшим обучение сетям , которые мы можем сразу же использовать. Спасибо Брендону Амосу и команде!

В результате всё, что требуется от нас самих, это провести наши изображения лиц через их предварительно обученную сеть и получить 128 характеристик для каждого лица. Ниже представлены характеристики для нашего тестового изображения:

Но какие конкретно части лица эти 128 чисел описывают? Оказывается, что мы не имеем ни малейшего представления об этом. Однако на самом деле это не имеет значения для нас. Нас должно заботить лишь то, чтобы сеть выдавала примерно одни и те же числа, анализируя два различных изображения одного и того же человека.

Если есть желание попробовать выполнить этот шаг самостоятельно, то OpenFace предоставляет Lua-скрипт , создающий наборы характеристик всех изображений в папке и записывающий их в csv-файл. Можно запустить его так, как показано .

Шаг 4. Нахождение имени человека после кодировки лица

Последний шаг является фактически самым лёгким во всём этом процессе. От нас требуется лишь найти человека в нашей базе данных известных лиц, имеющего характеристики, наиболее близкие к характеристикам нашего тестового изображения.

Это можно сделать, используя любой базовый алгоритм классификации обучения машин. Какие-либо особые приёмы глубинного обучения не требуются. Мы будем использовать простой линейный SVM-классификатор , но могут быть применены и многие другие алгоритмы классификации.

От нас потребуется только обучить классификатор, который сможет взять характеристики нового тестового изображения и сообщить, какое известное лицо имеет наилучшее соответствие. Работа такого классификатора занимает миллисекунды. Результатом работы классификатора является имя человека!

Опробуем нашу систему. Прежде всего я обучил классификатор, используя наборы характеристики от примерно 20 изображений Уилла Феррелла, Чеда Смита и Джимми Фэлона:

О, эти восхитительные картинки для обучения!

Затем я прогнал классификатор на каждом кадре знаменитого видеоролика на Youtube, где на шоу Джимми Фэлона Уилл Феррелл и Чед Смит прикидываются друг другом :

Сработало! И смотрите, как великолепно это сработало для лиц с самых разных направлений - даже в профиль!

Самостоятельное выполнение всего процесса

Рассмотрим требуемые шаги:

1. Обработайте картинку, используя HOG-алгоритм, чтобы создать упрощённую версию изображения. На этом упрощённом изображении найдите тот участок, который более всего похож на созданное HOG-представление лица.

2. Определите положение лица, установив главные антропометрические точки на нём. После позиционирования этих антропометрических точек используйте их для преобразования изображения с целью центровки глаз и рта.

3. Пропустите отцентрованное изображение лица через нейронную сеть, обученную определению характеристик лица. Сохраните полученные 128 характеристик.

4. Просмотрев все лица, характеристики которых были сняты раньше, определите человека, характеристики лица которого наиболее близки к полученным. Дело сделано!

Теперь, когда вы знаете, как всё это работает, просмотрите инструкции с самого начала до конца, как провести весь процесс распознавания лица на вашем собственном компьютере, используя OpenFace :

Прежде чем начать

Убедитесь, что Python, OpenFace и dlib у вас установлены. Их можно установить вручную или использовать предварительно сконфигурированное контейнерное изображение, в котором это всё уже установлено:

Docker pull bamos/openface docker run -p 9000:9000 -p 8000:8000 -t -i bamos/openface /bin/bash cd /root/openface

Совет профессионала новичку: если вы используете Docker на OSX, то можно сделать папку OSX/Users/ видимой внутри контейнерного изображения, как показано ниже:

Docker run -v /Users:/host/Users -p 9000:9000 -p 8000:8000 -t -i bamos/openface /bin/bash cd /root/openface

Затем можно выйти на все ваши OSX-файлы внутри контейнерного изображения на /host/Users/…

Ls /host/Users/

Шаг 1

Создайте папку с названием./training-images/ в папке openface.

Mkdir training-images

Шаг 2

Создайте подпапку для каждого человека, которого надо распознать. Например:

Mkdir ./training-images/will-ferrell/ mkdir ./training-images/chad-smith/ mkdir ./training-images/jimmy-fallon/

Шаг 3

Скопируйте все изображения каждого человека в соответствующие подпапки. Убедитесь, что на каждом изображении имеется только одно лицо. Не требуется обрезать изображение вокруг лица. OpenFace сделает это автоматически.

Шаг 4

Выполните скрипты openface из корневого директория openface:

Сначала должны быть выполнены обнаружение положения и выравнивание:

./util/align-dlib.py ./training-images/ align outerEyesAndNose ./aligned-images/ --size 96

В результате будет создана новая подпапка./aligned-images/ с обрезанной и выровненной версией каждого из ваших тестовых изображений.

Затем создайте представления из выровненных изображений:

./batch-represent/main.lua -outDir ./generated-embeddings/ -data ./aligned-images/

Подпапка./generated-embeddings/ будет содержать csv-файл с наборами характеристик для каждого изображения.

Проведите обучение вашей модели обнаружения лица:

./demos/classifier.py train ./generated-embeddings/

Будет создан новый файл с именем./generated-embeddings/classifier.pk . Этот файл содержит SVM-модель, которая будет использоваться для распознавания новых лиц.

С этого момента у вас появляется работающий распознаватель лиц!

Шаг 5. Распознаём лица!

Возьмите новую картинку с неизвестным лицом. Пропустите её через скрипт классификатора, типа нижеследующего:

./demos/classifier.py infer ./generated-embeddings/classifier.pkl your_test_image.jpg

Вы должны получить примерно такое предупреждение:

=== /test-images/will-ferrel-1.jpg === Predict will-ferrell with 0.73 confidence.

Здесь, если пожелаете, можете настроить python-скрипт./demos/classifier.py .

Важные замечания:

Если результаты неудовлетворительные, то попытайтесь добавить ещё несколько изображений для каждого человека на шаге 3 (особенно изображения с разных направлений).

Данный скрипт будет всегда выдавать предупреждение, даже если он не знает это лицо. При реальном использовании необходимо проверить степень уверенности и убрать предупреждения с низким значением степени уверенности, поскольку они, скорее всего, неправильные.

Добавить метки

Видеть - значит понимать увиденное. Мы слепы, если в нашем мозгу не работают зрительные зоны неокортекса - своеобразного биокомпьютера, ответственного за распознавание образов. Сейчас подобные анализаторы, способные узнавать лица и понимать их выражение, появляются у искусственных систем.

Итак, вещи обретают зрение, а у зрения есть собственный разум. Сначала мне кажется, что он туповат: только что включенная система распознавания лиц LUNA не торопится войти в штатный режим и запомнить меня. Но вот наконец она рапортует, что запомнила, и просит ввести имя. Пол и возраст LUNA может определить сама. С полом легко: у меня борода, а вот возраст система завысила на пять лет - видимо, из-за той же бороды.

Теперь камера узнает меня, даже если я снимаю очки или поворачиваю голову. Приходится попробовать средство посерьезней - мы направляемся к шкафу с париками и накладными усами. Я выбираю густые кудри, скрывающие к тому же пол-лица, - LUNA все равно узнает меня.

Наигравшись с париками, мы открываем ICQ и начинаем развлекаться с масками для видеозвонков: на мое цифровое лицо в реальном времени накладываются маски - можно неузнанным общаться в видеочате.

Следующий номер нашей программы - Face.DJ. Это приложение строит 3D-модель лица по селфи, а потом "надевает" это лицо на виртуальную голову, чтобы вы могли примерять прически и аксессуары. Другое назначение приложения - анимировать пользователя, создать его мультяшную копию для игр и прочих онлайн-занятий.

Мы готовим такое же приложение для сервиса знакомств: люди при первом контакте часто не хотят раскрываться, - рассказывает Юля, пиарщик компании VisionLabs, разработавшей LUNA. - Некоторые надевают маски, чтобы добавить в романтическое общение элемент игры.

У кросс-платформенной системы LUNA тоже много масок. Есть приложение в мессенджере Telegram, которое распознает пол и возраст по лицу, есть LUNA в облаке и LUNA для браузера. Но главное - эту программу можно внедрять в самые разные технологические продукты, чтобы использовать для распознавания лиц.

Например, одному из наших клиентов нужно выбирать фотографии - так называемый bestshot из видеопотока. Так вот, наша программа справляется с этим сама. Другому клиенту нужно, чтобы система распознавала лицо не только при входе в интернет-банк, но и на протяжении всего сеанса, потому что вы можете отойти, а вашим доступом воспользуется злоумышленник. С этой задачей мы тоже справились.

Главные клиенты VisionLabs - банки. Например, в "Почта Банке" системой LUNA оборудованы 50 тысяч рабочих мест - это самое большое внедрение биометрии в мире. Важно распознавать и лица клиентов, чтобы сравнивать фотографии в паспортах с фото в базе данных. Ведь самое распространенное мошенничество в этой сфере - вклейка своего фото в чужой паспорт для получения кредита.

Как видят машины

К нам подходит Александр Ханин, директор VisionLabs.

Расскажите о компьютерном зрении?

Александр Ханин: Компьютерное зрение - это область прикладной математики, которая по сложности эквивалентна задаче создания искусственного интеллекта в целом. Визуальный канал основной для получения информации об окружающем мире. И доверяем мы увиденному своими глазами больше, чем другим источникам.

Наша задача - научить программу по фотографии или видео делать выводы и понимать картинку так же, как человек. Или даже лучше. Вот когда машина сравняется с человеком в этом умении, можно будет считать, что задача решена. Пока же она решена лишь для некоторых узких прикладных областей. Например, для распознавания дефектов оборудования или распознавания лиц.

Задача распознавания лиц решена?

Александр Ханин: Да, уже сейчас достоверно показано, что машина различает лица лучше нас. И точнее, и быстрее. Человек не очень хорошо определяет возраст, национальность. Тот, кто живет в Европе, хуже различает лица людей с азиатской внешностью, и наоборот. Еще мы забывчивы. В довершение всего машина делает это в десятки миллионов раз быстрее.

Зато человек анализирует не отдельные параметры, а лицо и даже ситуацию в целом. Мы понимаем контекст, в котором лицо собеседника принимает то или иное выражение. Как машина со всем этим справляется?

Александр Ханин: Сочетая лучшие методики компьютерного зрения и машинного обучения. Взять, например, метод глубокого обучения - его особенность в том, что человек не задает параметры лица для распознавания.

Нейросеть программирует сама себя?

Александр Ханин: Нейросети появились еще в 1970-х, а революция в этой области началась примерно в 2013-2014-м. Потому что только к этому времени удалось накопить достаточно большие объемы данных , чтобы учить нейросети, а вычислительные мощности стали относительно дешевыми. Продолжать разрабатывать детерминированные методы распознавания - указывать, какие части лица как сравнивать, - стало бессмысленно.

Прорыв произошел, когда отказались от заданных параметров, например от ключевых точек на лице. Вместо этого машине поставили задачу: "Смотри, вот десять тысяч пар фотографий, каждая пара - один человек. Проанализируй их, чтобы суметь определить на фото, которые ты пока не видишь, где один человек, а где разные". Машина сама находит параметры, которые важны для решения этой задачи.

Вы именно так обучали свою систему?

Александр Ханин: Ну да, это типичная задача идентификации - сравнить фотографию, сделанную сейчас, с фото в паспорте и подтвердить, что это один и тот же человек. Мы давали машине на вход большие данные - миллионы пар фотографий, а на выходе требовали правильного ответа для любых фотопортретов. И система училась - сама настраивала параметры так, чтобы минимизировать ошибки. То есть для глубокого обучения сначала надо найти обучающую выборку - много примеров правильных решений. Потом программа работает уже сама.

Где же вы взяли эти миллионы пар фотографий?

Александр Ханин: Есть доступные обучающие выборки для исследователей - сначала мы использовали их, а дальше уже работали с партнерами и клиентами, которые разрешили продолжить обучение на их данных.

Как преуспеть на рынке

Задача распознавания людей по лицу решена. А как обстоит дело с определением эмоций?

Александр Ханин: Как, например, в африканских странах люди миновали стадию телеграфа и сразу перешли на мобильную сеть, так и мы, не решая задачу распознавания эмоций, сразу перешли на более высокий уровень - к выводам о важных для наших клиентов характеристиках человека. Бизнес показывает: от того, что машина распознает, улыбается человек или нахмурен, пользы никакой. Нужны более серьезные умения.

Распознавать ложь, например?

Александр Ханин: Да. Или определять, соответствует кандидат вашим требованиям или нет. Удовлетворен клиент обслуживанием или нет - улыбка ведь может выражать не только радость, но и насмешку и скрытое недовольство. Поэтому само по себе распознавание эмоций - это подзадача. Мы изучаем лицо в динамике, последовательность реакций на вопросы, обслуживание, обстановку.

Есть ли в мире инновационные продукты, на которые вы ориентируетесь?

Александр Ханин: Мы сами на переднем фланге. Медицинский факт, что наш продукт - первая в мире комплексная система распознавания лиц для банков и ретейла, которая работает и в мобильном телефоне, и на сайте, и в отделениях, и в банкоматах, и в терминалах самообслуживания - везде. Мы не только первые, но пока, насколько я знаю, единственные.

В каких-то терминалах самообслуживания уже установлена система распознавания лиц?

Александр Ханин: Да, например, в банке "Открытие" - в терминалах электронной очереди. И это не пилотные проекты, а такие, которые работают и удовлетворяют заказчиков в реальных условиях.

Чувствуете, как конкуренты дышат в спину?

Александр Ханин: Пилотных проектов в близких к нам областях много. Компаний, которые занимаются распознаванием лиц, только в России десятки, в Китае - около сотни, в мире - больше тысячи. Поэтому я и говорю, что сама по себе задача распознавания лиц решена, - во всяком случае для большинства сегментов и практических задач.

Для успеха на рынке важны не технологии. Большинству клиентов плевать, какая у нас технология и как именно мы решаем задачу, допустим, по ускорению обслуживания в банке или магазине, - с помощью распознавания лиц, прогноза погоды или черной магии. Им важно, чтобы был результат.

Распознать всех!

Какие задачи еще не решены, но будут - в обозримой перспективе? Над чем работают специалисты?

Александр Ханин: Одна из важнейших нерешенных задач - распознавание лиц в полностью неконтролируемой обстановке, например в толпе. Многие говорят, что умеют это делать, но по факту ничего такого пока не внедрили. Видимо, напрасно говорят.

Разве узнавать случайных людей по лицам не запрещено законом? Это ведь использование персональных данных.

Александр Ханин: Бизнесу запрещено, конечно. Это нарушение прав человека и вмешательство в частную жизнь. Вообще, технологии сейчас позволяют сделать гораздо больше, чем разрешает законодательство. Но мы работаем только в белой зоне - в полном соответствии с законом. Для нас важно не нарушать права людей. Мы не имеем права использовать без согласия человека его данные из соцсетей и поэтому не станем делать, например, для магазина систему, которая ищет информацию о клиенте по его фотографии. Но мы можем разработать программу, которая будет приблизительно оценивать пол и возраст покупателей по фото.

Наша компания работает только с бизнесом, а вот у служб национальной безопасности есть системы, которые ищут людей по фотографии.

То есть ФСБ можно, а обычным людям нельзя?

Александр Ханин: Да. Если спецслужба хочет найти террориста в толпе, ей нужно сканировать и распознать всех. А если человек зашел в магазин и программа по фотографии нашла его аккаунт в соцсети, узнала телефон и начала рассылать спам, это очень серьезное нарушение. На Западе за это предусмотрена уголовная ответственность.

В аэропортах уже есть системы распознавания лиц?

Александр Ханин: Да, в основном на паспортном контроле - они проверяют, ваш ли это паспорт, не поддельный ли и не числитесь ли вы в списке заблокированных или в федеральном розыске. За рубежом степень автоматизации значительно выше. В аэропортах Сингапура, Лондона, Парижа паспортный контроль можно проходить автоматически, без участия сотрудников. Вы сканируете свой паспорт, вас фотографируют, происходит сверка - и все, можно идти дальше.

Угадай, что на картинке

Как будет развиваться компьютерное зрение?

Александр Ханин: Есть большая группа задач, именуемых visual question answering: вы показываете компьютеру картинку, и он должен понять, что там изображено. Это очень сложно: если просто учить распознавать объекты по отдельности, ничего не получится - надо понимать контекст и взаимосвязь объектов.

Другая похожая задача - распознавание действий человека, они ведь тоже определяются во многом по контексту. Например, если человек поднял руку, что это значит? Он указывает дорогу или собирается кого-то ударить? Вот сидим, думаем.

То есть вы хотите научить машины распознавать образы, смысл которых зависит от контекста?

Александр Ханин: Научить интерпретировать контекст и таким образом распознавать картинки, действия, сцены.

Когда роботы прозреют

Александр Ханин: Хотелось бы, чтоб разработку компьютерного зрения довели до конца. Тогда у роботов появятся настоящие глаза, а значит, возможность понимать происходящее и адекватно реагировать. Иначе они не станут частью общества, а так и будут игрушками с пультами управления.

Как системы, распознающие лица, изменят нашу жизнь в ближайшие годы?

Александр Ханин: Вы совершенно точно заметите работу таких систем при авторизации - например, когда будете разблокировать телефон. Многие уже привыкли к Touch ID, но скоро самым распространенным способом станет вхождение в систему по лицу. Приходя домой, вы не будете искать ключи, на работе вам не понадобится пропуск. Ускорится обслуживание и самообслуживание в банках, магазинах, во всей сфере услуг: расчеты будут происходить без карточек.

На улицах станет безопаснее, потому что появится видеонаблюдение с функциями отслеживания. Города и страны получат дополнительную защиту, а возмездие за преступление станет неизбежным. Система будет фиксировать все: кто и где это сделал, куда потом пошел. На смену понятию "безопасный город" придет "умный город": одна и та же инфраструктура будет обеспечивать безопасность и, например, управление потоками людей и машин, а также много чего другого.

Одна и та же система установленных повсюду камер и компьютерного зрения?

Александр Ханин: Да, алгоритму без разницы, кого распознавать: вип-клиента или воришку. Лица у всех устроены одинаково: глаза, рот и нос. Но дело не только в лицах. Эта же система может заняться, скажем, регулированием освещения. Если в помещении нет людей, зачем жечь электричество? Машина вызовет коммунальные службы, если зафиксирует неполадки, и так далее.

Жить в мире, где все на виду, страшновато. Технически все проще становится построить антиутопию, где за всеми ведется тотальная слежка…

Александр Ханин: Я думаю, в итоге мир станет лучше и намного безопаснее. Но обманывать будет труднее. Например, мы с партнерами недавно разработали продукт, который не только дает доступ в рабочее помещение, но и учитывает проведенное там время: пришли во столько-то, ушли во столько. Прогуляли, опоздали, не вернулись с обеда - все будет зафиксировано.

И никак нельзя будет от этого спрятаться? Наверняка появятся маски с чужим лицом.

Александр Ханин: Безусловно, есть масса способов обмануть систему, и в этой области "гонка вооружений" только начинается. Был такой видеоролик, где учили делать макияж, препятствующий распознаванию. Но то было года три назад - нынешние алгоритмы так просто не проведешь.

А если вместо лица показывать фотографию?

Александр Ханин: Чтобы вычислить мошенников, в системах распознавания лиц программируют специальный "детектор живости" (lifeness detector), который определяет, человек перед ним или фотография. Показателей живости несколько. Самый простой, который считается мировым стандартом, - это моргание. Еще система может попросить человека улыбнуться, повернуть голову, приблизиться к камере, чтобы убедиться, что он реальный. Но если камера оснащена сенсором глубины, это не требуется: машина сразу понимает, что в кадре объемный объект, а не фото.

Кто еще в лидерах

Распознавание лиц - это не только наука и технология, но и большой бизнес, который в развитых странах растет огромными темпами. Исследовательская компания Allied Market Research прогнозирует, что к 2022 году его оборот составит почти десять миллиардов долларов. Среди ведущих игроков есть и российские. Из десятков стартапов и исследовательских проектов мы выделили три самых успешных.

NTechLab. Выпускник МГУ Артем Кухаренко начинал с приложения, определявшего породу собак по фотографии. Но уже в 2015 году созданный им с партнерами по проекту NTechLab алгоритм FaceN одержал победу в двух из четырех номинаций главного мирового конкурса по распознаванию лиц MegaFace, обойдя команду Google. Однако настоящая слава пришла к компании после разработки популярнейшего приложения FindFace, предназначенного для поиска по фото людей в соцсети "ВКонтакте". Сегодня число заявок на интеграцию технологии FindFace приближается к тысяче.

Vocord. Компанию "Вокорд" можно смело считать чемпионом мира по распознаванию лиц: на сайте конкурса MegaFace она занимает первое место, лидируя с солидным отрывом. Команда "Вокорд" - ветераны на рынке систем компьютерного зрения: программу дистанционного биометрического распознавания лиц Vocord FaceControl они выпустили еще в 2008 году, сегодня их продуктами пользуются больше двух тысяч коммерческих и государственных организаций. Специализация компании - идентификация лиц, то есть поиск человека в толпе.

VisionLabs. Их продукты входят в тройку лучших мировых коммерческих систем распознавания лиц. Подробнее об этой компании читайте в основном тексте.

Основные виды биометрии

Международная классификация способов идентификации человека

Лицо. Программа по фото или видеоизображению лица анализирует размер и форму глаз, носа, скул, их взаиморасположение и на основе этих данных создает уникальную комбинацию, которую затем сравнивает с имеющимися на предмет совпадения.

Отпечатки пальцев. Дактилоскопический метод основан на неповторимости папиллярного рисунка кожи, широко применяется в криминалистике.

Речь. Способ распознавания, основанный на преобразовании звучащей речи в цифровую информацию.

Глаза. Распознавание происходит в результате сравнения цифрового изображения радужной оболочки глаза с имеющимися в базе.

Вены. Способ идентификации на основе венозного рисунка руки или пальцев.

Взять кредит, оформить визу, да и просто запустить смартфон последней модели — сделать все это сегодня невозможно без участия алгоритмов распознавания лиц. Они помогают полицейским в расследованиях, музыкантам — на сцене, но понемногу превращаются во всевидящее око, следящее за всеми нашими действиями онлайн и офлайн.

Алгоритмы (технологии)

Определить человека по фото с точки зрения компьютера означает две очень разные задачи: во‑первых, найти лицо на снимке (если оно там есть), во‑вторых, вычленить из изображения те особенности, которые отличают этого человека от других людей из базы данных.

1. Найти

Попытки научить компьютер находить лицо на фотографиях проводились еще с начала 1970-х годов. Было испробовано множество подходов, но важнейший прорыв произошел существенно позднее — с созданием в 2001 году Полом Виолой и Майклом Джонсом метода каскадного бустинга, то есть цепочки слабых классификаторов. Хотя сейчас есть и более хитрые алгоритмы, можно поспорить, что и в вашем сотовом телефоне, и в фотоаппарате работает именно старый добрый Виола — Джонс. Все дело в замечательной быстроте и надежности: даже в далеком 2001 году средний компьютер с помощью этого метода мог обрабатывать по 15 снимков в секунду. Сегодня эффективность алгоритма удовлетворяет всем разумным требованиям. Главное, что нужно знать об этом методе, — он устроен удивительно просто. Вы даже не поверите насколько.

1. Шаг1. Убираем цвет и превращаем изображение в матрицу яркости.
2. Шаг 2. Накладываем на нее одну из квадратных масок — они называются признаками Хаара. Проходимся с ней по всему изображению, меняя положение и размер.
3. Шаг 3. Складываем цифровые значения яркости из тех ячеек матрицы, которые попали под белую часть маски, и вычитаем из них те значения, что попали под черную часть. Если хотя бы в одном из случаев разность белых и черных областей оказалась выше определенного порога, берем эту область изображения в дальнейшую работу. Если нет — забываем про нее, здесь лица нет.
4. Шаг 4. Повторяем с шага 2 уже с новой маской — но только в той области изображения, которая прошла первое испытание.

Почему это работает? Посмотрите на признак . Почти на всех фотографиях область глаз всегда немного темнее области непосредственно ниже. Посмотрите на признак : светлая область посередине соответствует переносице, расположенной между темными глазами. На первый взгляд черно-белые маски совсем не похожи на лица, но при всей своей примитивности они имеют высокую обобщающую силу.

Почему так быстро? В описанном алгоритме не отмечен один важный момент. Чтобы вычесть яркость одной части изображения из другой, понадобилось бы складывать яркость каждого пикселя, а их может быть много. Поэтому на самом деле перед наложением маски матрица переводится в интегральное представление: значения в матрице яркости заранее складываются таким образом, чтобы интегральную яркость прямоугольника можно было получить сложением всего четырех чисел.

Как собрать каскад? Хотя каждый этап наложения маски дает очень большую ошибку (реальная точность ненамного превышает 50%), сила алгоритма — в каскадной организации процесса. Это позволяет быстро выкидывать из анализа области, где лица точно нет, и тратить усилия только на те области, которые могут дать результат. Такой принцип сборки слабых классификаторов в последовательности называется бустингом (подробнее о нем можно прочитать в октябрьском номере «ПМ» или ). Общий принцип такой: даже большие ошибки, будучи перемножены друг на друга, станут невелики.

2. Упростить

Найти особенности лица, которые позволили бы идентифицировать его владельца, означает свести реальность к формуле. Речь идет об упрощении, причем весьма радикальном. Например, различных комбинаций пикселей даже на миниатюрном фото 64 x 64 пикселя может быть огромное количество — (2 8) 64 x 64 = 2 32768 штук. При этом для того, чтобы пронумеровать каждого из 7,6 млрд людей на Земле, хватило бы всего 33 бита. Переходя от одной цифры к другой, нужно выкинуть весь посторонний шум, но сохранить важнейшие индивидуальные особенности. Специалисты по статистике, хорошо знакомые с такими задачами, разработали множество инструментов упрощения данных. Например, метод главных компонент, который и заложил основу идентификации лиц. Впрочем, в последнее время сверточные нейросети оставили старые методы далеко позади. Их строение довольно своеобразно, но, по сути, это тоже метод упрощения: его задача — свести конкретное изображение к набору особенностей.

Накладываем на изображение маску фиксированного размера (правильно она называется ядром свертки), перемножаем яркость каждого пикселя изображения на значения яркости в маске. Находим среднее значение для всех пикселей в «окошке» и записываем его в одну ячейку следующего уровня.

Сдвигаем маску на фиксированный шаг, снова перемножаем и снова записываем среднее в карту признаков.

Пройдясь по всему изображению с одной маской, повторяем с другой — получаем новую карту признаков.

Уменьшаем размер наших карт: берем несколько соседних пикселей (например, квадрат 2x2 или 3x3) и переносим на следующий уровень только одно максимальное значение. То же самое проводим для карт, полученных со всеми другими масками.

В целях математической гигиены заменяем все отрицательные значения нулями. Повторяем с шага 2 столько раз, сколько мы хотим получить слоев в нейросети.

Из последней карты признаков собираем не сверточную, а полносвязную нейросеть: превращаем все ячейки последнего уровня в нейроны, которые с определенным весом влияют на нейроны следующего слоя. Последний шаг. В сетях, обученных классифицировать объекты (отличать на фото кошек от собак и пр.), здесь находится выходной слой, то есть список вероятностей обнаружения того или иного ответа. В случае с лицами вместо конкретного ответа мы получаем короткий набор самых важных особенностей лица. Например, в Google FaceNet это 128 абстрактных числовых параметров.

3. Опознать

Самый последний этап, собственно идентификация, — самый простой и даже тривиальный шаг. Он сводится к тому, чтобы оценить похожесть полученного списка признаков на те, что уже есть в базе данных. На математическом жаргоне это означает найти в пространстве признаков расстояние от данного вектора до ближайшей области известных лиц. Точно так же можно решить и другую задачу — найти похожих друг на друга людей.

Почему это работает? Сверточная нейросеть «заточена» на то, чтобы вытаскивать из изображения самые характерные черты, причем делать это автоматически и на разных уровнях абстракции. Если первые уровни обычно реагируют на простые паттерны вроде штриховки, градиента, четких границ и т. д. , то с каждым новым уровнем сложность признаков возрастает. Маски, которые нейросеть примеряет на высоких уровнях, часто действительно напоминают человеческие лица или их фрагменты. Кроме того, в отличие от метода главных компонент, нейросети комбинируют признаки нелинейным (и неожиданным) образом.

Откуда берутся маски? В отличие от тех масок, что используются в алгоритме Виолы — Джонса, нейросети обходятся без помощи человека и находят маски в процессе обучения. Для этого нужно иметь большую обучающую выборку, в которой имелись бы снимки самых разных лиц на самом разном фоне. Что касается того результирующего набора особенностей, которые выдает нейросеть, то он формируется по методу троек. Тройки — это наборы изображений, в которых первые два представляют собой фотографию одного и того же человека, а третье — снимок другого. Нейросеть учится находить такие признаки, которые максимально сближают первые изображения между собой и при этом исключают третье.

Чья нейросеть лучше? Идентификация лиц давно уже вышла из академии в большой бизнес. И здесь, как и в любом бизнесе, производители стремятся доказать, что именно их алгоритмы лучше, хотя не всегда приводят данные открытого тестирования. Например, по информации конкурса MegaFace, в настоящее время лучшую точность показывает российский алгоритм deepVo V3 компании «Вокорд» с результатом в 92%. Гугловский FaceNet v8 в этом же конкурсе показывает всего 70%, а DeepFace от Facebook с заявленной точностью в 97% в конкурсе вовсе не участвовал. Интерпретировать такие цифры нужно с осторожностью, но уже сейчас понятно, что лучшие алгоритмы почти достигли человеческой точности распознавания лиц.

Живой грим (искусство)

Зимой 2016 года на 58-й ежегодной церемонии вручения наград «Грэмми» Леди Гага исполнила трибьют умершему незадолго до того Дэвиду Боуи. Во время выступления по ее лицу растеклась живая лава, оставив на лбу и щеке узнаваемый всеми поклонниками Боуи знак — оранжевую молнию. Эффект движущегося грима создавала видеопроекция: компьютер отслеживал движения певицы в режиме реального времени и проецировал на лицо картины, учитывая его форму и положение. В Сети легко найти видеоролик, на котором заметно, что проекция еще несовершенна и при резких движениях слегка запаздывает.

Технологию видеомаппинга лиц Omote Нобумичи Асаи развивает с 2014 года и уже с 2015-го активно демонстрирует по всему миру, собрав приличный список наград. Основанная им компания WOW Inc. стала партнером Intel и получила хороший стимул для развития, а сотрудничество с Ишикавой Ватанабе из Токийского университета позволило ускорить проекцию. Впрочем, основное происходит в компьютере, и похожие решения используют многие разработчики приложений, позволяющих накладывать на лицо маски, будь то шлем солдата Империи или грим «под Дэвида Боуи».

Александр Ханин, основатель и генеральный директор VisionLabs

«Подобной системе не нужен мощный компьютер, наложение масок может производиться даже на мобильных устройствах. Система способна работать прямо на смартфоне, без отправки данных в облако или на сервер».

«Эта задача называется трекингом точек на лице. Есть много подобных решений и в открытом доступе, но профессиональные проекты отличаются скоростью и фотореалистичностью, — рассказал нам глава компании VisionLabs Александр Ханин. — Самое сложное при этом состоит в определении положения точек с учетом мимики и индивидуальной формы лица или в экстремальных условиях: при сильных поворотах головы, недостаточной освещенности и большой засветке». Чтобы научить систему находить точки, нейронную сеть обучают — сначала вручную, скрупулезно размечая фотографию за фотографией. «На входе это картинка, а на выходе — размеченный набор точек, — поясняет Александр. — Дальше уже запускается детектор, определяется лицо, строится его трехмерная модель, на которую накладывается маска. Нанесение маркеров осуществляется на каждый кадр потока в режиме реального времени».

Примерно так и работает изобретение Нобумичи Асаи. Предварительно японский инженер сканирует головы своих моделей, получая точные трехмерные прототипы и готовя видеоряд с учетом формы лица. Задачу облегчают и небольшие маркеры-отражатели, которые клеят на исполнителя перед выходом на сцену. Пять инфракрасных камер следят за их движениями, передавая данные трекинга на компьютер. Дальше все происходит так, как нам рассказали в VisionLabs: лицо детектируется, строится трехмерная модель, и в дело вступает проектор Ишикавы Ватанабе.

Устройство DynaFlash было представлено им в 2015 году: это высокоскоростной проектор, способный отслеживать и компенсировать движения плоскости, на которой отображается картинка. Экран можно наклонить, но изображение не исказится и будет транслироваться с частотой до тысячи 8-битных кадров в секунду: запаздывание не превышает незаметных глазу трех миллисекунд. Для Асаи такой проектор оказался находкой, живой грим стал работать действительно в режиме реального времени. На ролике, записанном в 2017 году для популярного в Японии дуэта Inori, отставания уже совсем не видно. Лица танцовщиц превращаются то в живые черепа, то в плачущие маски. Это смотрится свежо и привлекает внимание — но технология уже быстро входит в моду. Скоро бабочка, севшая на щеку ведущей прогноза погоды, или исполнители, каждый раз на сцене меняющие внешность, наверняка станут самым обычным делом.

Фейс-хакинг (активизм)

Механика учит, что каждое действие создает противодействие, и быстрое развитие систем наблюдения и идентификации личности не исключение. Сегодня нейросети позволяют сопоставить случайную смазанную фотографию с улицы со снимками, загруженными в аккаунты социальных сетей и за секунды выяснить личность прохожего. В то же время художники, активисты и специалисты по машинному зрению создают средства, способные вернуть людям приватность, личное пространство, которое сокращается с такой головокружительной скоростью.

Помешать идентификации можно на разных этапах работы алгоритмов. Как правило, атакам подвергаются первые шаги процесса распознавания — обнаружение фигур и лиц на изображении. Как военный камуфляж обманывает наше зрение, скрывая объект, нарушая его геометрические пропорции и силуэт, так и машинное зрение стараются запутать цветными контрастными пятнами, которые искажают важные для него параметры: овал лица, расположение глаз, рта и т. д. По счастью, компьютерное зрение пока не столь совершенно, как наше, что оставляет большую свободу в выборе расцветок и форм такого «камуфляжа».

Розовые и фиолетовые, желтые и синие тона доминируют в линейке одежды HyperFace, первые образцы которой дизайнер Адам Харви и стартап Hyphen Labs представили в январе 2017 года. Пиксельные паттерны предоставляют машинному зрению идеальную — с ее точки зрения — картинку человеческого лица, на которую компьютер ловится, как на ложную цель. Несколько месяцев спустя московский программист Григорий Бакунов и его коллеги даже разработали специальное приложение, которое генерирует варианты макияжа, мешающего работе систем идентификации. И хотя авторы, подумав, решили не выкладывать программу в открытый доступ, тот же Адам Харви предлагает несколько готовых вариантов.

Человек в маске или со странным гримом на лице, может, и будет незаметен для компьютерных систем, но другие люди наверняка обратят на него внимание. Однако появляются способы сделать и наоборот. Ведь с точки зрения нейросети изображение не содержит образов в обычном для нас понимании; для нее картинка — это набор чисел и коэффициентов. Поэтому совершенно различные предметы могут выглядеть для нее чем-то вполне сходным. Зная эти нюансы работы ИИ, можно вести более тонкую атаку и подправлять изображение лишь слегка — так, что человеку перемены будут почти незаметны, зато машинное зрение обманется полностью. В ноябре 2017 года исследователи показали, как небольшие изменения в окраске черепахи или бейсбольного мяча заставляют систему Google InceptionV3 уверенно видеть вместо них ружье или чашку эспрессо. А Махмуд Шариф и его коллеги из Университета Карнеги — Меллон спроектировали пятнистый узор для оправы очков: на восприятие лица окружающими он почти не влияет, а вот компьютерная идентификация средствами Face++ уверенно путает его с лицом человека, «под которого» спроектирован паттерн на оправе.