Vyjdete hore schodmi a vojdete do výťahu. Vie, na ktoré poschodie musíte ísť. Dvere do bytu sa otvárajú pred vami. Počítač a telefón vás „rozpoznávajú“ a nevyžadujú od vás zadanie hesla.

Na prvý pohľad sa môže zdať, že každá organizácia, ktorá si to môže dovoliť, sleduje každý váš krok a zhromažďuje o vás dokumentáciu. Ale ani si neviete predstaviť, ako veľmi sa technológie rozpoznávania tváre rozšírili po celom svete a aké silné vyhliadky sľubujú. Okrem vyššie uvedených príkladov vám systémy rozpoznávania tváre umožňujú robiť také jednoduché a zložité veci:

• potvrdenie totožnosti študenta pri online skúškach;
• identifikácia osôb z „čiernej listiny“ pri vstupe na štadióny a nočné kluby;
• platba za tovar;
• udržiavať svoje miesto v rade pri návšteve zábavného parku;
• odblokovanie telefónu alebo počítača.

Čo môžem povedať, ak iba v Moskve existuje sieť viac ako 150 000 vonkajších videokamier. Nie je sa pred nimi kam schovať, a to ľudí núti premýšľať, rozsah „sledovania“ však nie je taký veľký. Sieť využíva výkonný systém rozpoznávania tváre, ale na jej fungovanie je potrebné veľké množstvo energie, takže v reálnom čase pracuje iba 2–4 \u200b\u200b000 kamier. Masový dohľad nad obyvateľstvom je zatiaľ iba desivý, takže stojí za to zamerať sa na skutočné výhody tejto technológie. Ale najskôr.

Ako funguje systém rozpoznávania tváre?

Zaujímalo vás niekedy, ako vy sami spoznávate tvár, spoznávate ju? Ako to robí počítač? Ľudské tváre majú samozrejme určité vlastnosti, ktoré sa dajú ľahko opísať. Vzdialenosť medzi očami, poloha a šírka nosa, tvar obočia a brady - všetky tieto detaily si podvedome všimnete pri pohľade na inú osobu. Počítač to všetko robí s určitou účinnosťou a presnosťou, pretože kombináciou všetkých týchto metrík získa matematický vzorec ľudskej tváre.

Ako dobre si teda v súčasnosti vedie systém rozpoznávania tváre? Nie zlé, ale niekedy nesprávne. Ak ste sa už niekedy stretli so softvérom na rozpoznávanie tváre na Facebooku alebo na inej platforme, určite ste si všimli, že tých zábavných výsledkov je rovnako veľa ako tých presných. Aj keď táto technológia nefunguje so stopercentnou presnosťou, je dosť dobrá na to, aby našla široké použitie. A dokonca vás znervózni.

Paul Howe z NEC tvrdí, že ich systém rozpoznávania tváre skenuje tváre pre jednotlivé identifikátory:

„Napríklad mnohí považujú vzdialenosť medzi očami za jedinečnú vlastnosť. Alebo to môže byť vzdialenosť od brady po čelo a ďalšie komponenty. Berieme do úvahy najmä 15-20 faktorov, ktoré sa považujú za dôležité, ako aj ďalšie faktory, ktoré už nie sú také významné. Tak sa vytvorí trojrozmerný obraz hlavy človeka, takže aj keď je čiastočne zakrytý, stále môžeme získať presnú zhodu. Systém potom vezme podpis tváre a odovzdá ho cez databázu. “

Mám si robiť starosti so softvérom na rozpoznávanie tváre?

V prvom rade sú to rozpoznávanie tváre. Údaje je možné zhromažďovať a ukladať, často bez súhlasu. Po zhromaždení a uložení informácií je možné ich napadnúť hackermi. Platformy na rozpoznávanie tváre ešte neboli veľmi hacknuté, ale ako sa technológia šíri, vaša biometria je v rukách čoraz viac ľudí.

Existujú aj vlastnícke problémy. Väčšina ľudí nevie, že keď sa zaregistrujú na platformách sociálnych médií, ako je Facebook, ich údaje od tohto okamihu patria samotnému Facebooku. Pretože počet spoločností využívajúcich rozpoznávanie tváre neustále rastie, veľmi skoro nebudete musieť ani kvôli kompromisu nahrávať svoje vlastné fotografie na internet. Už sú tam uložené a boli uložené dlho.

Keď už hovoríme o softvéri, všetky pracujú rôznymi spôsobmi, ale v zásade používajú podobné techniky a neurónové siete. Každá tvár má veľa charakteristických čŕt (je nemožné nájsť dve rovnaké tváre na svete a bolo ich toľko v celej histórii ľudstva!). Napríklad softvér FaceIt identifikuje tieto vlastnosti ako kotviace body. Každá tvár obsahuje približne 80 uzlových bodov, podobných tým, ktoré sme už spomínali predtým: vzdialenosť medzi očami, šírka nosa, hĺbka očných jamiek, tvar brady, dĺžka čeľuste. Tieto body sa zmerajú a vytvoria číselný kód - „potlač tváre“ - ktorý sa potom zavedie do databázy.

V minulosti sa rozpoznávanie tváre spoliehalo na 2D obrázky, aby porovnali alebo identifikovali ďalšie 2D obrázky z databázy. Kvôli efektívnosti a presnosti musel byť obraz tvárou pozerajúcou sa priamo do kamery, s malým rozptylom svetla a bez výrazu tváre. Samozrejme, fungovalo to dosť zle.

Vo väčšine prípadov sa snímky nerobili vo vhodnom prostredí. Aj malá hra svetla by mohla znížiť účinnosť systému, čo by viedlo k vysokej poruchovosti.

2D bolo nahradené 3D rozpoznávaním. Tento novo sa objavujúci trend v softvéri využíva 3D model na zabezpečenie veľmi presného rozpoznania tváre. Softvér zachytáva 3D obraz povrchu tváre človeka v reálnom čase a zdôrazňuje charakteristické znaky - tam, kde najviac vyčnieva tvrdé tkanivo a kosť, ako sú krivky očnej jamky, nosa a brady - na identifikáciu subjektu. Tieto oblasti sú jedinečné a časom sa nemenia.

Použitím hĺbky a osi merania, ktoré nie sú ovplyvnené osvetlením, je možné systém 3D rozpoznávania tváre použiť aj v tme a rozpoznávať objekty z rôznych uhlov (dokonca aj z profilu). Takýto softvér prechádza niekoľkými fázami a identifikuje osobu:

• Detekcia: Nasnímanie snímky digitálnym skenovaním existujúcej fotografie (2D) alebo videa na získanie živého obrazu subjektu (3D).
• Centrovanie: Po detekcii tváre systém označí polohu hlavy, veľkosť a držanie tela.
• Meranie: Systém zmeria krivky na tvári s milimetrovou presnosťou a vytvorí šablónu.
• Zastúpenie: systém preloží šablónu do jedinečného kódu. Tento kód dáva každému vzoru množinu čísel, ktoré predstavujú znaky a rysy tváre.
• Priraďovanie: ak je obrázok v 3D a databáza obsahuje 3D obrázky, priraďovanie sa uskutoční bez zmeny obrázka. Ak ale databáza pozostáva z dvojrozmerných obrázkov, trojrozmerný obraz sa rozloží na rôzne komponenty (napríklad dvojrozmerné obrázky rovnakých tvárových prvkov z rôznych uhlov) a prevedú sa do 2D obrázkov. Potom sa zhoda nájde v databáze.
• Overenie alebo identifikácia: počas procesu overovania sa snímka porovnáva iba s jednou snímkou \u200b\u200bv databáze (1: 1). Ak je identifikácia cieľom, snímka sa porovná so všetkými snímkami v databáze, čo vedie k množstvu možných zhôd (1: N). Podľa potreby sa uplatňuje jedna alebo druhá metóda.

Kde sa používajú systémy rozpoznávania tváre?

V minulosti našli systémy rozpoznávania tváre použitie hlavne pri vymáhaní práva, pretože úrady ich používali na hľadanie náhodných tvárí v dave ľudí. Niektoré vládne agentúry tiež používali podobné systémy na zabezpečenie a elimináciu volebných podvodov.

Existuje však mnoho ďalších situácií, keď sa takýto softvér stane populárnym. Systémy zlacňujú, ich distribúcia rastie. Teraz sú kompatibilné s fotoaparátmi a počítačmi, ktoré používajú banky a letiská. Cestovné kancelárie pracujú na programe „ostrieľaných cestujúcich“, ktorý má vykonať rýchle bezpečnostné kontroly cestujúcich, ktorí dobrovoľne poskytujú informácie. Fronty na letiskách budú postupovať rýchlejšie, ak ľudia prechádzajú systémom rozpoznávania tváre, ktorý spája tváre s internou databázou.

Medzi ďalšie potenciálne možnosti použitia patria bankomaty a bankomaty. Softvér dokáže rýchlo skontrolovať tvár klienta. Po povolení klienta urobí bankomat alebo terminál fotografiu tváre. Softvér vytvára odtlačok tváre, ktorý chráni zákazníka pred krádežou identity a podvodnými transakciami - bankomat jednoducho neposkytne peniaze osobe s inou tvárou. Dokonca nie je potrebný ani PIN.

Mágia? Technológie!

Obzvlášť dôležitý a zaujímavý môže byť vývoj technológie rozpoznávania tváre v oblasti bankových prevodov. Nedávno ruská banka Otkritie predstavila svoje vlastné jedinečné riešenie vyvinuté pod značkou technológie Open Garage: prevod peňazí z fotografie v mobilnej aplikácii Otkritie.Transfers. Namiesto zadávania karty alebo telefónneho čísla stačí odfotiť osobu, ktorá potrebuje uskutočniť prevod. Systém rozpoznávania tváre porovná fotografiu s referenčnou (urobí sa to vtedy, keď banka vydá kartu) a vyzve meno a priezvisko. Zostáva len vybrať kartu a zadať sumu. Najdôležitejšie je, že klienti bánk tretích strán môžu túto funkciu využívať aj na prevody klientom spoločnosti Otkrytie - odosielateľ prevodov môže používať kartu ktorejkoľvek ruskej banky.

„Použitie fotografie klienta namiesto čísla bankovej karty je zásadne nový prístup k online prevodom založený na použití systému rozpoznávania tváre neurónovou sieťou, ktorý umožňuje identifikáciu klienta s vysokou mierou presnosti podľa jeho biometrických údajov, ”Hovorí vedúci oddelenia rozvoja partnerských systémov Otkritie Bank Alexey Matveev. - Táto služba otvára používateľom úplne nové scenáre života pri uskutočňovaní prevodov peňazí. V súčasnosti žiadny z účastníkov finančného trhu na svete takúto službu svojim klientom neponúka. ““

Technológie rozpoznávania tváre sa používajú v najrôznejších oblastiach:

• zaistenie bezpečnosti na preplnených miestach;
• bezpečnostné systémy, zabránenie nelegálnemu vstupu na územie zariadenia, hľadanie votrelcov;
• kontrola tváre v segmente stravovania a zábavy, hľadanie podozrivých a potenciálne nebezpečných návštevníkov;
• overovanie bankových kariet;
• online platby;
• kontextová reklama, digitálny marketing, Intelligent Signage a Digital Signage;
• fotografické vybavenie;
• súdne lekárstvo;
• telekonferencie;
• mobilné aplikácie;
• vyhľadávať fotografie vo veľkých databázach fotografií;
• označovanie ľudí na fotografiách na sociálnych sieťach a na mnohých ďalších.

Spoločnosť IBM vydala 1 milión fotografií tváre pre biometrické školenie

2018

Rozpoznávanie tváre nefunguje v každom druhom smartfóne

Začiatkom januára 2019 holandská nezisková organizácia otestovala 110 modelov smartfónov a zistila, že funkcia rozpoznávania tváre používaná na uzamknutie zariadení nefunguje správne na viac ako na všetkých ostatných zariadeniach.

Štúdia spoločnosti Consumentenbond a jej medzinárodných partnerov zistila, že 42 z testovaných smartfónov je možné odomknúť pomocou fotografie majiteľa telefónu. Akákoľvek fotografia bude urobená napríklad zo sociálnych sietí, z CCTV kamier alebo iným spôsobom.

Softvérová technológia rozpoznávania tváre, ktorá je k dispozícii majiteľom mnohých smartphonov so systémom Android, dosiahla taký vývojový stupeň, že už nie je možné klamať sa fotografiou majiteľa.

Výsledky tejto štúdie znepokojujú používateľov a bezpečnostné agentúry. Používanie tlačenej fotografie tváre nositeľa je prvým testom funkcie rozpoznávania tváre, ktorú používajú bežní používatelia a testeri. Najdôležitejšie je, že ide o prvý trik, ktorý sa útočníci pokúsia nabiť do smartfónu tvárou v tvár, a potom prejdú k sofistikovanejším útokom, ktoré zahŕňajú vytváranie masiek alebo hláv majiteľa telefónu vytlačených pomocou 3D.

Akýkoľvek systém rozpoznávania tváre, ktorý nevyjde „fototestom“, sa zvyčajne považuje za zbytočný. Podľa Consumentenbond tieto testy neprešli modelmi od Asus, BlackBerry, Huawei, Lenovo, Nokia, Samsung, Sony a Xiaomi. V prípade spoločnosti Sony prešli testom úplne všetky modely. Šesť ďalších modelov - Honor a šesť modelov LG - bolo testovaných iba v „prísnom“ režime. Aj keď používatelia z tohto testu môžu vyvodiť záver, že rozpoznávanie tváre by nemalo byť povolené, 68 zariadení vrátane vlajkovej lode Apple iPhone XR odolalo tomuto jednoduchému útoku, rovnako ako mnoho ďalších vysoko výkonných modelov pre Android od spoločností Samsung, Huawei, OnePlus a Honor.

Kompletný zoznam modeliek, ktoré prešli fototestom, nájdete na webovej stránke Consumentenbond.

Najpopulárnejšie systémy rozpoznávania tváre v Číne

Jedným z najbežnejších softvérov na rozpoznávanie tváre je Face ++, ktorý sa používa na riadenie prístupu všade z pekinských vlakových staníc do kancelárskej budovy Alibaba.

Samotná Alibaba vyvinula vlastné systémy, ktoré budú slúžiť v šanghajskom metre na identifikáciu cestujúcich pomocou tváre a hlasu.

Policajti sledujúci bezpečnosť na jednej z čínskych vlakových staníc nosia špeciálne slnečné okuliare s rozpoznávaním tváre. Zariadenie je schopné identifikovať osobu za 100 milisekúnd a viackrát pomohlo orgánom činným v trestnom konaní pri chytaní zločincov.

V čínskom Šen-čene bola prvýkrát na svete spustená kamera porušujúca chodcov. Je inštalovaný na jednom z frekventovaných priechodov mestom a na červenú kontroluje ľudí prechádzajúcich cez cestu. Fotoaparát využíva technológiu rozpoznávania tváre na identifikáciu votrelca.

Prijímacie skúšky na vysoké školy v celej krajine využívajú rozpoznávanie tváre a odtlačkov prstov, aby sa zaistilo, že účastníci testu sú skutoční študenti.

Po sérii únosov niektoré materské školy otvárajú dvere iba pre tých ľudí, ktorých tváre sú zaregistrované v systéme. V jednej z materských škôl bolo nainštalovaných viac ako 200 bezpečnostných kamier.

Aj na niektorých toaletách boli nainštalované stroje na rozpoznávanie tváre. Stroj vydá 60 cm toaletného papiera jednej osobe maximálne raz za deväť minút.

Alibaba má bezhotovostné obchody Hema, kde používatelia skenujú ich tváre a zadávajú svoje telefónne číslo, aby mohli uskutočňovať platby prostredníctvom Alipay.

Alibaba uzavrela partnerstvo s výrobcom hotelových informačných systémov Shiji s cieľom nainštalovať systém rozpoznávania tváre na registráciu v 50 hoteloch. Čínski turisti využívajúci služby online cestovnej kancelárie Fliggy (vlastnená spoločnosťou Alibaba) si tam môžu najskôr rezervovať hotel a potom pomocou „masky“ svojej tváre rýchlo skontrolovať hotel a zložiť zálohu.

Peking sa rozhodol bojovať proti nelegálnemu nájmu verejného bývania pomocou inteligentných zámkov, ktoré rozpoznávajú vlastníkov podľa tváre

Na konci decembra 2018 vyšlo najavo, že inteligentné zámky s technológiou rozpoznávania tváre sa v Pekingu zavádzajú zrýchleným tempom. Miestne orgány s ich pomocou posilňujú opatrenia proti nelegálnemu spätnému prenájmu verejného bývania poskytovaného rodinám s nízkym príjmom za znížené ceny.

Inteligentný zámok s rozpoznávaním tváre

Očakáva sa, že do konca júna 2019 sa zámky so zabudovaným systémom skenovania tváre použijú vo všetkých programoch poskytovania dotovaného verejného bývania v Pekingu za účasti 120-tisíc nájomcov, uvádza South China Morning Post s odvolaním sa na Pekingské správy.

Priraďovaním informácií získaných skenovaním tvárí návštevníkov k obrázkom z uloženej databázy systém rozpoznáva hostiteľov a neotvára dvere cudzím ľuďom, uviedol pre Beijing News riaditeľ informačného centra v pekinskom centre verejného bývania Shan Zhenyu.

Okrem toho je možné systém použiť na starostlivosť o starších ľudí žijúcich osamote. Ak starší človek z domu neodíde a na určitý čas do domu nevstúpi, zašle sa správcovi nehnuteľnosti oznámenie o nutnosti vstupu so šekom.

V takých veľkých mestách, ako je Peking, je nájomné bývanie veľmi drahé. V priemere stojí prenajatý byt v hlavnom meste Nebeskej ríše asi 5 tisíc juanov mesačne (asi 730 dolárov), zatiaľ čo nájomné za verejné bývanie môže byť menej ako 2 tisíce juanov mesačne (290 dolárov).

Pekinskí predstavitelia dúfajú, že inteligentné zámky, ktoré rozpoznajú majiteľov podľa tváre, zvýšia bezpečnosť, zabránia nelegálnemu podnájmu a zabezpečia, aby mali nárok iba tí, ktorí to potrebujú.

Na konci roku 2018 sa inteligentné zámky s rozpoznávaním tváre používajú v 47 programoch na poskytovanie preferenčného verejného bývania v Pekingu. S ich pomocou bolo získaných asi 100 tisíc naskenovaných obrazov tvárí nájomníkov a ich rodinných príslušníkov.

Čínske Airbnb inštaluje inteligentné tvárové zámky do domov

Zlyhanie v Londýne. Systém rozpoznávania tváre v metre nepozná nikoho

Koncom decembra 2018 vyšlo najavo, že systém rozpoznávania tváre nasadený v londýnskom metre nikoho nespozná. Londýnskym policajtom bolo vyčítané, že použili neoznačené dodávky na testovanie kontroverznej a nepresnej technológie automatického rozpoznávania tváre od vianočných kupujúcich. Viac informácií.

Toalety na rozpoznávanie tváre v Číne znižujú spotrebu toaletného papiera

Na konci roku 2018 sa stalo známe, že v Číne rastie počet verejných toaliet so systémom rozpoznávania tváre, ktorý šetrí toaletný papier.

V decembri bola takáto toaleta uvedená do prevádzky v parku Baotu Spring v meste Jinan v provincii Šan-tung, 400 kilometrov južne od Pekingu. Táto toaleta má predajný automat, ktorý vydáva toaletný papier po skenovaní tváre. Pri jednom prístupe zariadenie vydá asi 70 cm papiera a na to, aby mohla prijať ďalšiu časť hygienických a hygienických výrobkov, musí rovnaká osoba počkať 9 minút a vrátiť svoju hlavu späť k fotoaparátu na identifikáciu.

Na odomknutie smartfónu tlačia hackeri a policajná 3D hlava majiteľa

Systém rozpoznávania tváre bol spustený na 14 amerických letiskách

20. augusta 2018 bol na 14 amerických letiskách spustený systém rozpoznávania tváre. O jeho účinnosti informovala americká colná a pohraničná hliadka (CBP).

Podľa webovej stránky agentúry predložil 22. augusta 26-ročný pasažier, ktorý odletel na letisko Washington Dulles z Sao Paula (Brazília), na kontrolnom stanovišti francúzsky pas. Biometrický systém však odhalil, že tvár muža sa nezhodovala s fotografiou na dokumente.

Na letisku vo Washingtone chytil systém rozpoznávania tváre človeka - pokúsil sa vstúpiť do USA s cudzím pasom

Keď bol nováčik v USA vyslaný na ďalšie pátranie, bol „zjavne nervózny“ a ako sa neskôr ukázalo, nie nadarmo. V jeho topánke našli preukaz totožnosti na meno občana Konžskej republiky, ktorým bol v skutočnosti zadržaný. Teraz mu hrozí trest väzenia za pokus o vstup do USA na základe falošných dokladov.

Systémy rozpoznávania tváre polície v Spojenom kráľovstve zlyhali

V máji 2018 vyšlo najavo veľké problémy v systémoch rozpoznávania tváre, ktoré používa britská polícia. Vďaka tomu je možné podať veľký počet žalôb - táto otázka sa stala „prioritou“ pre Úrad komisára pre informácie, cituje BBC slová zástupkyne regulačného orgánu Elizabeth Denhamovej.

Britská organizácia pre ľudské práva Big Brother Watch zverejnila výsledky štúdie, ktorá ukazuje „ohromujúci“ počet nevinných ľudí, z ktorých sa technológia rozpoznávania tváre stala potenciálnymi zločincami.

Takže od mája 2017 do marca 2018 systém vydal 2 685 zápasov ľudí s databázou podozrivých pre políciu v južnom Walese, ale 2 451 z nich sa ukázalo ako nepravdivých.

Londýnski strážcovia zákona použili na karnevale v Notting Hill v roku 2017 technológiu identifikácie tváre. Hodnoty systému sa ukázali ako chybné v 98% prípadov, keď sa spustil signál, že údajne bol videný podozrivý z policajnej databázy. Riešenie je usporiadané tak, že pri zistení možného porušovateľa zákona sa na najbližší policajný útvar pošle signál k službe službukonajúcemu dôstojníkovi.

Polícia začala obviňovať kamery, ktoré poskytovali nekvalitné snímky, a skutočnosť, že systém bol použitý prvýkrát, ale v nasledujúcich 15 udalostiach (futbalové zápasy, festivaly, prehliadky), počas ktorých bola použitá technológia, výsledok sa nezlepšil. Iba na troch systém nikdy neurobil chybu.

Polícia tiež uviedla, že za deväť mesiacov fungovania systému rozpoznávania tváre správne identifikovala viac ako 2 tisíc ľudí, čo viedlo k 450 zatknutiam. Zároveň nebol nikto omylom uväznený. Je to tak kvôli skutočnosti, že do práce sa okrem práce algoritmov zapájajú aj ľudia, ktorí kontrolujú pozitíva a robia konečné rozhodnutia.

Vedci vyvinuli nový spôsob podvádzania systémov rozpoznávania tváre

Systémy rozpoznávania tváre sú každým dňom zložitejšie a čoraz viac sa využívajú v všadeprítomnom živote, napríklad minulý rok spoločnosť Apple uviedla na trh smartfón iPhone X vybavený biometrickým systémom Face ID. Takéto systémy je však možné oklamať najmä použitím infračervených LED diód. Infračervené lúče nie sú viditeľné voľným okom, ale väčšina kamier dokáže infračervené signály zachytiť.

Čínski vedci vytvorili bejzbalovú čiapku vybavenú miniatúrnymi infračervenými LED diódami, ktoré sú umiestnené tak, aby infračervené lúče dopadajúce na tvár pokrývky hlavy pomohli nielen skryť ich identitu, ale aj „vydávať sa za inú osobu na účely autentifikácie pomocou tváre“. . Táto úloha je zložitejšia a vyžaduje použitie hlbokej neurónovej siete na rozpoznanie statického obrazu tváre a správne premietanie infračervených lúčov na tvár podvodníka.

Na otestovanie svojej teórie použili vedci fotografie štyroch náhodných ľudí, ktorí boli schopní oklamať systémy rozpoznávania tváre v 70% prípadov za predpokladu miernej vonkajšej podobnosti medzi obeťou a podvodníkom.

„Na základe našich zistení a útokov môžeme dospieť k záveru, že dnešné technológie rozpoznávania tváre možno len ťažko označiť za bezpečné a spoľahlivé z hľadiska kritických scenárov, ako sú autentifikácia a sledovanie,“ uzavreli vedci. Dodali tiež, že infračervené LED diódy môžu byť skryté nielen v bejzbalových čiapkach, ale aj v dáždnikoch, vlasoch alebo parochniach.

Ruské dvojčatá požadujú od spoločnosti Apple 20 miliónov za to, že iPhone X medzi nimi nevidí rozdiel

Dvojčatá z Vladimíra - 26-ročný Alexander a Iľja Tunchiki - podali sťažnosť na ruskú kanceláriu Apple v súvislosti so skutočnosťou, že systém Face ID v ich smartfónoch iPhone X identicky identifikuje oboch mladých ľudí, teda podľa ich názoru , porušujúce ochranu osobných údajov.

Urazení používatelia požadujú, aby spoločnosť vylepšila túto technológiu a kompenzovala morálne škody vo výške 20 miliónov rubľov, uviedol v januári 2018 pre agentúru TASS Roman Ardykutsa, právnik zastupujúci záujmy bratov.

"Dvojčatá si kúpili ... iPhone X práve preto, aby používali funkciu odomykania tvárou." Každé zariadenie na svoje sklamanie spoznáva oboch bratov, na čo neboli pri kúpe upozornení, tieto informácie nie sú obsiahnuté v návode. Preto žiadatelia žiadajú spoločnosť, aby túto technológiu zdokonalila, “vysvetlil.

2017

Rozpoznávanie tváre v maloobchode

V novembri 2017 vysielala televízia CNBC príbeh o implementácii systémov rozpoznávania tváre v obchodoch. Maloobchodníci používajú tieto technológie na zhromažďovanie údajov o zákazníkoch a prispôsobovanie ponúk na základe príslušných údajov.

V maloobchode sa rozpoznávanie tváre používa hlavne na motiváciu nakupujúcich. Napríklad, ak je pri vchode do obchodu rozpoznaná osoba a zobrazí sa jej história nákupov, potom zamestnanci obchodu vedia lepšie, čo majú ponúknuť. Ak si teda kúpil televízor v obchode s elektronikou, zamestnanec ho spozná, osloví ho menom a ponúkne kúpu nového diaľkového ovládača.

Podľa hongkonskej IT spoločnosti Jardine One Solution (JOS) mnoho maloobchodníkov využíva rozpoznávanie tváre na zhromažďovanie údajov o návštevníkoch svojich obchodov.

Samotný JOS pomáha maloobchodníkom s rozpoznávaním tváre pri profilovaní nakupujúcich a sledovaní ich konania v mieste predaja. Hovoríme o takých údajoch, ako je počet návštevníkov, ich vek, pohlavie, etnická príslušnosť. Tieto informácie pomáhajú obchodom lepšie pochopiť tok zákazníkov a vybrať im prispôsobené ponuky, uviedol Lant.

Napríklad pomocou analýzy údajov pochádzajúcich zo systémov rozpoznávania tváre môžete vybrať hudbu hrajúcu na obchodnom poschodí.

JOS tvrdí, že všetky prijaté údaje o zákazníkoch sú anonymné, ale otázka dôvernosti zostáva naďalej aktuálna. Technológia nebráni prijatiu takýchto systémov, existujú však obavy o identitu a kultúru, pripúšťa Mark Lant.

Dodal, že maloobchodníci vynakladajú obrovské množstvo peňazí na prevenciu úniku údajov a ochranu informácií. Škandál okolo krádeže údajov miliónov zákazníkov spoločnosti Uber ukazuje, že spoločnosti sa nemôžu cítiť bezpečne a používatelia musia byť pri zverejňovaní osobných údajov opatrní, uviedol výkonný riaditeľ JOS.

Mark Ryski, zakladateľ a generálny riaditeľ spoločnosti HeadCount (ktorá ponúka služby sledovania obchodov a zlepšenia prevádzky), tvrdí, že biometria vrátane tých, ktoré vytvárajú systémy rozpoznávania tváre, je chúlostivá a má veľký potenciál - najmä v oblasti zaistenia bezpečnosti a zlepšenia kvality služieb zákazníkom.

Príklad použitia systému rozpoznávania tváre v obchodoch

Brennan Wilkie, senior viceprezident pre stratégiu služieb zákazníkom v spoločnosti InMoment, tvrdí, že v maloobchode je skutočne veľký potenciál rozpoznávania tváre. Napríklad také zariadenia sú schopné zosúladiť výraz tváre zákazníka v obchode s údajmi o ňom, jeho lojalite k značke a ďalších nákupoch. Tým si je istý, že v záujme zmiernenia problému súkromia používateľov musia obchody zákazníkom ukázať, aké výhody dostávajú, ako to bolo v prípade samoobslužných pokladní alebo bankových kariet s čipmi.

Podľa predpovede analytickej spoločnosti MarketsandMarkets dosiahne svetový trh so systémami rozpoznávania tváre do roku 2021 6,8 miliárd dolárov.

Prihlásenie do tváre iPhone X bolo napadnuté maskou 150 dolárov. Video

Ako obísť skener tváre v telefóne Samsung Galaxy Note 8

Webový dizajnér Mel Tahon tweetol video, ako ľahko obísť skener tváre na Galaxy Note 8. Pri svojom experimente drží Tahon dve Note 8 oproti sebe, z ktorých jedna je jeho fotografia a druhá má zapnutý skenovací systém. ... tváre.

Biometrický bezpečnostný trik Samsung Galaxy S8

Vedci boli schopní vydať belocha za Millu Jovovich v takmer 90 percentách prípadov. V rovnakom percente prípadov si ženu ázijského vzhľadu v špeciálnych okuliaroch pomýlili s mužom z Blízkeho východu.

Okrem toho si vyskúšali svoju metódu na komerčnom softvéri Face ++, ktorý používa Alibaba na autorizáciu platieb. V takom prípade nedali osobu s okuliarmi pred kameru, ale najskôr ju odfotili s okuliarmi a potom ju nahrali do programu. Vďaka tomu sa im podarilo odovzdať jedného človeka inému na 100 percent času.

Americké verejné organizácie proti rozpoznávaniu tváre

Koalícia 52 občianskych spoločností a organizácií pre ľudské práva zaslala ministerstvu spravodlivosti list, v ktorom žiada ministerstvo spravodlivosti o prešetrenie nadmerného používania technológie rozpoznávania tváre pri presadzovaní práva. Koalíciu tiež znepokojuje nerovnomerná presnosť strojového rozpoznávania tvárí rôznych rás, ktorá sa môže stať základom pre prejav rasizmu zo strany zamestnancov úradov.

V liste sa píše, že tieto technológie zneužívajú najmä miestna polícia, štátna polícia a FBI. Koalícia žiada ministerstvo spravodlivosti, aby v prvom rade začalo preverovanie tých policajných útvarov, ktoré sú už predmetom vyšetrovania v súvislosti s predsudkami voči občanom s nebielou farbou pleti.

Žiadosť bola založená na štúdii Centra ochrany súkromia a technológií na Právnickej fakulte Univerzity Georgetown. Štúdia zistila, že tváre polovice dospelých obyvateľov USA boli skenované vládnym identifikačným softvérom za rôznych okolností.

Vedci poznamenávajú, že v dnešných Spojených štátoch neexistujú žiadne závažné pravidlá, ktoré by upravovali používanie tohto softvéru. Podľa riaditeľa strediska a spoluautora štúdie Alvara Bedoyu, ktorý fotografoval na vodičskom preukaze, sa osoba už nachádza v databáze polície alebo FBI. To je obzvlášť dôležité vzhľadom na skutočnosť, že rozpoznávanie tváre môže byť nepresné a v takom prípade môže poškodiť nevinných občanov.

Príklady projektov v HSBC, MasterCard a Facebook

Táto služba bude k dispozícii pre firemných klientov NSBC. Prostredníctvom aplikácie pre mobilné bankovníctvo si budú môcť otvoriť účty jediným kliknutím na selfie. Banka tiež potvrdzuje totožnosť klienta pomocou programu rozpoznávania tváre. Fotografia sa porovnáva s obrázkami, ktoré sa predtým nahrali do systému, napríklad z pasu alebo vodičského preukazu. Predpokladá sa, že nová služba eliminuje potrebu pamätať si digitálne kódy a skracuje čas identifikácie.

Ak chcete použiť túto možnosť, používatelia si budú musieť do svojho počítača, tabletu alebo smartfónu stiahnuť špeciálnu aplikáciu. Potom sa pozrite do fotoaparátu alebo použite čítačku odtlačkov prstov zariadenia (ak je v zariadení k dispozícii). Používatelia však (aspoň zatiaľ) budú musieť naďalej uvádzať podrobnosti o svojej bankovej karte. Používatelia budú môcť vyššie uvedenú možnosť použiť iba v prípade, že je potrebná ďalšia identifikácia.

Týmto novým prístupom chce spoločnosť MasterCard chrániť používateľov pred falošnými online transakciami, ktoré sa vykonávajú pomocou ukradnutých hesiel používateľov, a poskytnúť používateľom pohodlnejší systém overovania. Spoločnosť uviedla, že 92% ľudí, ktorí testovali tento nový systém, ho uprednostnilo pred tradičnými heslami.

Niektorí odborníci spochybňujú ochranu informácií pred počítačovými zločincami, ktorí nie sú schopní ľahko získať odtlačky prstov alebo fotografiu jeho tváre, ak sa transakcia uskutočňuje pomocou nebezpečnej verejnej siete Wi-Fi.

Odborníci na kybernetickú bezpečnosť tvrdia, že systém by mal obsahovať viac vrstiev zabezpečenia, aby sa zabránilo možnému krádeži fotografií tvárí používateľov. Online platby sú koniec koncov atraktívnym cieľom pre počítačových zločincov.

Koncom roku 2015 skupina odborníkov z Technickej univerzity v Berlíne preukázala schopnosť extrahovať PIN kód ľubovoľného smartfónu pri použití selfie používateľa. Za týmto účelom prečítali tento kód, ktorý sa zobrazil v očiach používateľa, keď ho zadal do svojho telefónu OPPO N1. Na uskutočnenie tohto primitívneho útoku stačí hackerovi jednoducho prevziať kontrolu nad prednou kamerou smartfónu. Mohol by počítačový zločinec prevziať kontrolu nad zariadením používateľa, urobiť si selfie a potom uskutočňovať online platby pomocou zadaného hesla, ktoré hacker videl v očiach svojej obete?

Spoločnosť MasterCard trvá na tom, že jej bezpečnostné mechanizmy budú schopné toto správanie odhaliť. Používatelia by napríklad museli blikať, aby aplikácia zobrazovala „živý“ obraz osoby, nie fotografiu alebo vopred zachytené video. Systém porovnáva obraz tváre používateľa, prevádza ho do kódu a prenáša ho cez zabezpečený protokol cez internet na MasterCard. Spoločnosť sľubuje, že tieto informácie budú bezpečne uložené na jej serveroch, zatiaľ čo sama nebude schopná rekonštruovať tvár používateľa.

V lete 2016 vyšlo najavo, že vedci obišli biometrický autentifikačný systém pomocou fotografie z Facebooku. Útok umožnili potenciálne zraniteľné miesta, ktoré sú vlastné sociálnym zdrojom.

Tím vedcov zo Štátnej univerzity v Severnej Karolíne demonštroval metódu obchádzania bezpečnostných systémov postavenú na technológii rozpoznávania tváre pomocou prístupných fotografií používateľov sociálnych médií. Ako je vysvetlené v správe špecialistov, útok bol možný z dôvodu možnej zraniteľnosti, ktorá je súčasťou sociálnych zdrojov.

„Nie je prekvapením, že osobné fotografie zverejnené na sociálnych sieťach môžu predstavovať hrozbu pre ochranu súkromia. Väčšina hlavných sociálnych sietí odporúča, aby používatelia pri zverejňovaní fotografií na webe nastavili nastavenie ochrany osobných údajov. Mnohé z týchto obrázkov sú však často dostupné pre širokú verejnosť alebo si ich môžu pozrieť iba priatelia. Používatelia navyše nemôžu samostatne ovládať dostupnosť svojich fotografií zverejnených inými predplatiteľmi, “poznamenávajú vedci.

V rámci experimentu vedci vybrali fotografie 20 dobrovoľníkov (používateľov Facebooku, Google+, LinkedIn a ďalších sociálnych zdrojov). Tieto obrázky potom použili na vytvorenie 3D modelov tváre, animovali ich sériou animačných efektov, na model použili textúru pleti a doladili vzhľad (ak je to potrebné). Vedci testovali výsledné modely na piatich bezpečnostných systémoch, z ktorých štyri boli podvádzané v 55-85% prípadov.

Podľa správy spoločnosti Technavo (zima 216) jedným z kľúčových trendov, ktoré majú pozitívny vplyv na trh biometrických technológií identifikácie tváre ( rozpoznávanie tváre), je zavedenie multimodálnych biometrických systémov v odvetviach, ako sú zdravotníctvo, bankovníctvo, finančný sektor, sektor cenných papierov a poisťovníctva, doprava, cestná doprava, ako aj vo verejnom sektore.

Zakladateľ projektu Benjamin Levy uviedol, že kvôli vysokej úrovni bezpečnosti bude IsItYou schopný rozpoznať 99 999 zo 100 tisíc prípadov podvodov. Levy sa pokúsil presvedčiť banky, aby jeho systém zaviedli už v budúcom roku. Bude sa používať na vykonávanie finančných transakcií.

Google už v systéme Android používa rozpoznávanie tváre. Takto môžete odomknúť zariadenie, na ktorom je spustený tento mobilný operačný systém. Vývojári však opakovane tvrdili, že rozpoznávanie tváre nie je v porovnaní s klasickými metódami dostatočne bezpečné. V tejto súvislosti experti pochybovali o tvrdeniach Benjamina Levyho.

Marios Savvedes z Carnegie Mellon University skúma rozpoznávanie tváre. Verí, že test zabezpečenia IsItYou, ktorý vykonáva sám, nemôže byť spoľahlivý.

Rovnaký názor má aj svetový odborník v oblasti biometrie Dr. Massimo Tistarelli. Uviedol, že v Európe prebieha rozsiahly vedecký projekt Tabula Rasa, ktorého hlavným cieľom je vývoj ochrany proti podvodom pre metódy biometrickej identifikácie. Podľa neho by sa pred vstupom na trh malo uskutočniť množstvo nezávislých štúdií, ktoré by potvrdili účinnosť produktu.

Prvým krokom na našej montážnej linke je rozpoznanie tváre... Je celkom zrejmé, že predtým, ako sa pokúsite rozpoznať, musíte vybrať všetky tváre na fotografii!

Ak ste používali fotografiu za posledných 10 rokov, pravdepodobne ste videli, ako funguje detekcia tváre:

Detekcia tváre je pre fotoaparáty skvelá vec. Ak fotoaparát dokáže automaticky detekovať tváre, môžete si byť istí, že pred fotografovaním sú všetky tváre zaostrené. Použijeme to však na iný účel - nájdenie oblastí obrazu, ktoré je potrebné preniesť do ďalšej fázy nášho ropovodu.

Detekcia tváre sa stala hlavným prúdom začiatkom roku 2000, keď Paul Viola a Michael Jones vymysleli metódu detekcie tváre, ktorá bola dostatočne rýchla na to, aby fungovala na lacných fotoaparátoch. V súčasnosti však existujú oveľa spoľahlivejšie riešenia. Použijeme metódu objavenú v roku 2005, histogram smerového gradientu (krátky, HOG).

Na detekciu tvárí v obraze urobíme náš obraz čiernobiely, pretože na detekciu tváre nie sú potrebné farebné údaje:

Potom sa postupne pozrieme na každý jednotlivý pixel na našom obrázku. Pre každý jednotlivý pixel zvážte jeho bezprostredné okolie:

Naším cieľom je zdôrazniť, ako tmavý je aktuálny pixel v porovnaní s pixelmi, ktoré s ním priamo susedia. Potom nakreslíme šípku ukazujúcu smer, v ktorom bude obraz tmavší:

Pri pohľade na tento jeden pixel a jeho najbližších susedov môžete vidieť, že obraz tmavne doprava.

Ak tento postup opakujete pre každý jeden pixel na obrázku, potom bude každý pixel nahradený šípkou. Tieto šípky volajú sklona ukazujú tok svetla od tmy po celom obraze:

Mohlo by sa zdať, že výsledok je niečo náhodný, ale na nahradenie pixelov prechodmi je veľmi dobrý dôvod. Keď analyzujeme pixely priamo, tmavé a svetlé obrázky tej istej osoby budú mať veľmi rôznu intenzitu pixelov. Ale ak vezmeme do úvahy iba smer zmeny jasu, potom budú mať tmavé aj svetlé obrázky úplne rovnaké zastúpenie. Vďaka tomu je riešenie problému oveľa jednoduchšie!

Ale udržanie gradientu pre každý jeden pixel nám dáva príliš podrobné informácie. Les nakoniec nevidíme kvôli stromom. Bolo by lepšie, keby sme len videli hlavný prúd svetla / tmy na vyššej úrovni, čím by sme sa pozreli na základnú štruktúru obrazu.

Za týmto účelom sme obrázok rozdelili na malé štvorce, každý s rozmermi 16x16 pixelov. Na každom štvorci spočítajte, koľko šípok smerujúcich v každom hlavnom smere (t. J. Koľko šípok smeruje hore, hore, doprava, doprava atď.). Potom je dotyčný štvorec na obrázku nahradený šípkou so smerom prevažujúcim v tomto štvorci.

Vo výsledku zmeníme pôvodný obrázok na veľmi jednoduché znázornenie, ktoré jednoduchým spôsobom ukazuje základnú štruktúru tváre:

Pôvodný obrázok sa prevedie na reprezentáciu HOG, ktorá demonštruje hlavné charakteristiky obrazu bez ohľadu na jeho jas.

Aby sme našli tváre na tomto obrázku HOG, musíme nájsť iba časť obrázka, ktorá sa najviac podobá známej štruktúre HOG získanej zo skupiny tvárí použitých na výcvik:

Pomocou tejto metódy môžete ľahko nájsť tváre na ľubovoľnom obrázku:

Ak chcete tento krok dokončiť sami pomocou Pythonu a dlib, existuje program, ktorý ukazuje, ako vytvoriť a zobraziť HOG reprezentácie obrázkov.

Krok 2. Umiestnenie a zobrazenie tvárí

Takže sme vybrali tváre na našom obrázku. Teraz však nastáva problém: rovnaká tvár z pohľadu rôznych strán vyzerá úplne inak ako počítač:

Ľudia môžu ľahko vidieť, že oba obrázky odkazujú na herca Willa Ferrella, ale počítače s nimi budú zaobchádzať ako s tvárami dvoch rôznych ľudí.

Aby sme to zohľadnili, skúsme každý obrázok transformovať tak, aby oči a pery boli na obrázku vždy na rovnakom mieste. Porovnanie tvárí v ďalších krokoch sa výrazne zjednoduší.

Na tento účel používame algoritmus s názvom „Hodnotenie antropometrických bodov“... Existuje mnoho spôsobov, ako to urobiť, ale použijeme prístup, ktorý v roku 2014 navrhli Wahid Kazemi a Josephine Sullivan.

Základná myšlienka je, že je pridelených 68 konkrétnych bodov ( značky) prítomné na každej tvári - vyčnievajúca časť brady, vonkajší okraj každého oka, vnútorný okraj každého obočia atď. Potom sa vyladí algoritmus učenia stroja, aby našiel týchto 68 konkrétnych bodov na každej tvári:

Na každú tvár umiestnime 68 antropometrických bodov

Nižšie je uvedený výsledok umiestnenia 68 antropometrických bodov do nášho testovacieho obrázka:

TIP PRO ZAČIATOČNÍKA: Túto istú metódu je možné použiť na vloženie vlastnej verzie 3D tvárových filtrov v reálnom čase do aplikácie Snapchat!

Teraz, keď vieme, kde sú oči a ústa, budeme obraz jednoducho otáčať, meniť mierku a posúvať tak, aby oči a ústa boli vycentrované čo najlepšie. Nebudeme zavádzať žiadne neobvyklé 3D deformácie, pretože môžu skresliť obraz. Urobíme iba základné transformácie obrazu, ako sú rotácia a zmena mierky, ktoré udržia rovnobežky čiar (tzv. Afinné transformácie):

Teraz, bez ohľadu na to, ako sa tvár otáča, môžeme vycentrovať oči a ústa tak, aby boli na snímke približne v rovnakej polohe. Vďaka tomu bude náš ďalší krok oveľa presnejší.

Ak si chcete tento krok vyskúšať sami pomocou Pythonu a dlib, existuje program na hľadanie antropometrických bodov a program na transformáciu obrazu na základe týchto bodov.

Krok 3. Kódovanie tvárí

Teraz sa dostávame k jadru problému - samotnému rozlišovaniu tvárí. Tu sa zábava začína!

Najjednoduchším prístupom k rozpoznávaniu tváre je priame porovnanie neznámej tváre zistenej v kroku 2 so všetkými už označenými tvárami. Ak nájdeme už označenú tvár, veľmi podobnú našej neznámej, potom to bude znamenať, že máme do činenia s rovnakou osobou. Znie to ako celkom dobrý nápad, nie?

S týmto prístupom je v skutočnosti obrovský problém. Stránka ako Facebook s miliardami používateľov a biliónmi fotografií nemôže dostatočne cyklicky prechádzať každou predtým označenou tvárou a porovnávať ju s každým novým nahraným obrázkom. Trvalo by to príliš dlho. Rozpoznávanie tváre je potrebné vykonať za milisekundy, nie za hodiny.

Musíme sa naučiť, ako z každej tváre vyťažiť niekoľko základných charakteristík. Potom by sme mohli získať takéto vlastnosti od neznámej osoby a porovnať ich s vlastnosťami známych tvárí. Môžete napríklad zmerať každé ucho, určiť vzdialenosť medzi očami, dĺžku nosa atď. Ak ste niekedy sledovali televízne seriály o práci forenzného laboratória v Las Vegas („C.S.I .: Crime Scene“), potom viete, o čo ide:

Ako vo filmoch! Toľko pravda!

Najbezpečnejšia metóda na meranie tváre

Dobre, ale aké vlastnosti musíte mať od každej osoby, aby ste si vytvorili databázu známych tvárí? Veľkosti uší? Dĺžka nosa? Farba očí? Čokoľvek iné?

Ukazuje sa, že vlastnosti, ktoré sa nám ľuďom (ako napríklad farba očí) javia ako zrejmé, nedávajú zmysel pre počítač analyzujúci jednotlivé pixely v obraze. Vedci zistili, že najvhodnejším prístupom je nechať počítač určiť charakteristiky, ktoré sa majú zhromaždiť. Hlboké učenie je pri identifikácii častí tváre, ktoré sú dôležité pre rozpoznanie, lepšie ako ľudia.

Riešením je trénovať hlbokú konvolučnú neurónovú sieť (čo je presne to, čo sme robili v čísle 3). Ale namiesto toho, aby sme naučili sieť rozpoznávať grafické objekty, ako sme to robili naposledy, teraz ju naučíme vytvárať 128 charakteristík pre každú tvár.

Proces učenia funguje pri súčasnom zvažovaní 3 snímok tváre:

1. Stiahnite si cvičný obraz tváre slávnej osoby

2. Odovzdajte ďalšiu tvár tej istej osoby

3. Nahrajte obrázok tváre niekoho iného

Algoritmus potom sleduje charakteristiky, ktoré momentálne generuje pre každý zo zadaných troch obrázkov. Mierne upraví neurónovú sieť tak, aby charakteristiky, ktoré vytvára pre obrázky 1 a 2, boli o niečo bližšie k sebe a pre obrázky 2 a 3 o niečo ďalej.

Jeden „zabudovaný“ vzdelávací krok:

Po opakovaní tohto kroku miliónkrát pre milióny obrázkov tisícov rôznych ľudí je neurónová sieť schopná spoľahlivo vytvoriť 128 charakteristík pre každú osobu. Každých desať rôznych obrázkov tej istej osoby bude mať zhruba rovnaké vlastnosti.

Špecialisti na strojové učenie nazývajú týchto 128 charakteristík každej tváre súbor charakteristík (vlastností)... Myšlienka prevodu zložitých nespracovaných údajov, napríklad obrázkov, na zoznam počítačom generovaných čísel sa v strojovom učení (najmä pri prekladoch) ukázala ako mimoriadne sľubná. Tento prístup pre tváre, ktorý používame, navrhli v roku 2015 výskumníci z Googlu, ale existuje veľa podobných prístupov.

Kódovanie nášho obrazu tváre

Proces trénovania konvolučnej neurónovej siete na odvodenie súborov charakteristík tváre vyžaduje veľké množstvo údajov a vysoký výkon počítača. Aj na drahej grafickej karte NVidia Telsa asi 24 hodín neustále vzdelávanie pre dobrú presnosť.

Ale ak je sieť vyškolená, potom môžete vytvoriť charakteristiky pre každú osobu, dokonca aj pre osobu, ktorá ešte nikdy predtým nebola! Preto je tento krok potrebné urobiť iba raz. Našťastie pre nás, dobrí ľudia v OpenFace to už dokázali a poskytli prístup k niekoľkým trénovaným sieťam, ktoré môžeme okamžite použiť. Ďakujem Brandonovi Amosovi a tímu!

Výsledkom je všetko, čo od seba vyžadujeme, je prevádzať naše obrazy tváre prostredníctvom ich vopred vyškolenej siete a získať 128 charakteristík pre každú tvár. Nižšie uvádzame špecifikácie nášho testovacieho obrázka:

Aké časti tváre však týchto 128 čísel popisuje? Ukazuje sa, že o tomto nemáme ani potuchy. Nám to však v podstate nezáleží. Mali by sme sa len obávať, že sieť produkuje približne rovnaké čísla pri analýze dvoch rôznych obrázkov tej istej osoby.

Ak si chcete tento krok vyskúšať sami, potom OpenFace poskytuje skript Lua, ktorý vytvorí množinu charakteristík všetkých obrázkov v priečinku a zapíše ich do súboru CSV. Môžete ho spustiť podľa obrázka.

Krok 4. Vyhľadanie mena osoby po zakódovaní tváre

Posledný krok je vlastne najjednoduchší v celom tomto procese. Všetko, čo musíme urobiť, je nájsť osobu v našej databáze známych tvárí s charakteristikami, ktoré sú najbližšie k našim testovacím snímkam.

To je možné vykonať pomocou ľubovoľného základného algoritmu klasifikácie strojového učenia. Nie sú potrebné žiadne špeciálne techniky hlbokého učenia. Použijeme jednoduchý lineárny klasifikátor SVM, ale je možné použiť aj mnoho ďalších klasifikačných algoritmov.

Všetko, čo musíme urobiť, je vyškoliť klasifikátora, ktorý dokáže vziať vlastnosti nového testovacieho obrazu a nahlásiť, ktorá známa osoba má najlepšiu zhodu. Práca takéhoto klasifikátora trvá milisekundy. Výsledkom práce klasifikátora je meno osoby!

Vyskúšajme náš systém. Najskôr som trénoval klasifikátor pomocou sad funkcií z približne 20 obrázkov Willa Ferrella, Chada Smitha a Jimmyho Fallona:

Ach, tie rozkošné obrázky na učenie!

Potom som spustil klasifikátor na každom snímke slávneho videa z Youtube, kde ukazuje Jimmy Fallon Will Ferrell a Chad Smith sa vydávajú za druhého :

Fungovalo to! A pozrite sa, ako skvele to fungovalo na tváre z najrôznejších smerov - dokonca aj z profilu!

Nezávislé vykonávanie celého procesu

Pozrime sa na požadované kroky:

1. Spracujte obrázok pomocou algoritmu HOG a vytvorte zjednodušenú verziu obrázka. Na tomto zjednodušenom obrázku nájdite oblasť, ktorá sa najviac podobá vytvorenej HOG reprezentácii tváre.

2. Určte polohu tváre stanovením hlavných antropometrických bodov na nej. Po umiestnení týchto antropometrických bodov pomocou nich transformujte obraz tak, aby vycentroval oči a ústa.

3. Spustite stredový obraz tváre neurónovou sieťou trénovanou na charakterizáciu tváre. Uložte získaných 128 charakteristík.

4. Po skontrolovaní všetkých tvárí, ktorých charakteristiky boli zachytené skôr, identifikujte osobu, ktorej charakteristiky sú najbližšie získaným. Je to hotové!

Teraz, keď viete, ako to všetko funguje, si od začiatku do konca prečítajte pokyny, ako spustiť celý proces rozpoznávania tváre na svojom počítači pomocou OpenFace:

Predtým ako začneš

Uistite sa, že máte nainštalovaný Python, OpenFace a dlib. Môžete ich nainštalovať manuálne alebo použiť predkonfigurovaný obraz kontajnera, ktorý už má všetko nainštalované:

Docker pull bamos / openface docker run -p 9000: 9000 -p 8000: 8000 -t -i bamos / openface / bin / bash cd / root / openface

Tip pre nováčika: Ak používate Docker na OSX, môžete zviditeľniť priečinok OSX / Users / vo vnútri obrázka kontajnera, ako je uvedené nižšie:

Docker run -v / Users: / host / Users -p 9000: 9000 -p 8000: 8000 -t -i bamos / openface / bin / bash cd / root / openface

Potom môžete ukončiť všetky svoje súbory OSX v obraze kontajnera na / host / Users / ...

Ls / hostiteľ / používatelia /

Krok 1

V priečinku openface vytvorte priečinok s názvom. / Training-images /.

Tréningové obrázky Mkdir

Krok 2

Vytvorte podpriečinok pre každú osobu, ktorú chcete spoznať. Napríklad:

Mkdir ./training-images/will-ferrell/ mkdir ./training-images/chad-smith/ mkdir ./training-images/jimmy-fallon/

Krok 3

Skopírujte všetky obrázky každej osoby do ich príslušných podpriečinkov. Uistite sa, že na každom obrázku je iba jedna tvár. Nie je potrebné orezávať obraz okolo tváre. OpenFace to urobí automaticky.

Krok 4

Spustite skripty openface z koreňového adresára openface:

Najskôr je potrebné vykonať detekciu polohy a vyrovnanie:

./util/align-dlib.py ./training-images/ align outerEyesAndNose ./aligned-images/ --size 96

Týmto sa vytvorí nový podpriečinok. / Aligned-images / s orezanou a zarovnanou verziou každého z vašich testovacích obrázkov.

Potom vytvorte zobrazenia zo zarovnaných obrázkov:

./batch-represent/main.lua -outDir ./generated-embeddings/ -data ./aligned-images/

Podpriečinok / Generated-embeddings / bude obsahovať súbor CSV so sadami funkcií pre každý obrázok.

Trénujte model detekcie tváre:

./demos/classifier.py vlak ./generated-embeddings/

Vytvorí sa nový súbor s názvom. / Generated-embeddings / classifier.pk. Tento súbor obsahuje model SVM, ktorý sa použije na rozpoznávanie nových tvárí.

Odteraz máte funkčný rozpoznávač tváre!

Krok 5. Rozpoznávajte tváre!

Nasnímajte nový obrázok s neznámou tvárou. Spustite to cez skript klasifikátora, ako je tento:

./demos/classifier.py odvodiť ./generated-embeddings/classifier.pkl your_test_image.jpg

Mali by ste dostať podobné upozornenie:

\u003d\u003d\u003d /test-images/will-ferrel-1.jpg \u003d\u003d\u003d Predpovedajte vôľu s dôverou 0,73.

Ak chcete, môžete nakonfigurovať skript v jazyku python. / Demos / classifier.py.

Dôležité poznámky:

Ak výsledky nie sú uspokojivé, skúste v kroku 3 pridať pre každú osobu niekoľko ďalších obrázkov (najmä obrázky z rôznych smerov).

Tento skript vždy vydá varovanie, aj keď túto osobu nepozná. Pri skutočnom použití by sa mala skontrolovať úroveň spoľahlivosti a odstrániť varovania s nízkou hodnotou spoľahlivosti, pretože sú s najväčšou pravdepodobnosťou nesprávne.

Pridať značky

Vidieť znamená rozumieť tomu, čo vidíš. Sme slepí, ak v našom mozgu nepracujú vizuálne zóny neokortexu, akýsi biopočítač zodpovedný za rozpoznávanie vzorov. Teraz sa také analyzátory, schopné rozpoznávať tváre a porozumieť ich výrazom, objavujú v umelých systémoch.

Takže veci získavajú zrak a zrak má svoju vlastnú myseľ. Spočiatku sa mi zdá, že je hlúpy: novo zapnutý systém rozpoznávania tváre LUNA sa neponáhľa vstúpiť do normálneho režimu a pamätať si ma. Ale nakoniec ohlási, čo si spomenula, a požiada o zadanie mena. LUNA dokáže určiť pohlavie a vek sama. So sexom je to jednoduché: mám bradu, ale systém môj nadhodnotil vek o päť rokov - zjavne kvôli tej istej brade.

Teraz ma kamera rozpozná, aj keď si zložím okuliare alebo otočím hlavu. Musíme vyskúšať vážnejší prostriedok - s parochňami a falošnými fúzmi smerujeme k šatníku. Vyberám hrubé kučery, ktoré skrývajú aj polovicu mojej tváre - LUNA ma stále pozná.

Keď sme sa už dosť zahrali s parochňami, otvoríme ICQ a začneme sa baviť maskami pre videohovory: masky sa nanášajú na moju digitálnu tvár v reálnom čase - môžete chatovať nerozpoznane.

Ďalším číslom nášho programu je Face.DJ. Táto aplikácia zostavuje 3D model tváre zo selfie a potom túto tvár „kladie“ na virtuálnu hlavu, aby ste si mohli vyskúšať účesy a doplnky. Ďalším účelom aplikácie je animovať používateľa, vytvoriť jeho komiksovú kópiu pre hry a ďalšie online aktivity.

Rovnakú aplikáciu pripravujeme pre zoznamovacie služby: ľudia pri prvom kontakte sa často nechcú otvárať, - hovorí Yulia, PR špecialistka spoločnosti VisionLabs, ktorá vyvinula LUNA. - Niektorí nosia masky, aby svojej romantike dodali hravý prvok.

Platformový systém LUNA má tiež veľa masiek. V aplikácii Telegram messenger je aplikácia, ktorá rozpoznáva pohlavie a vek podľa tváre, v cloude je LUNA a pre prehliadač LUNA. Hlavná vec však je, že tento program je možné implementovať do rôznych technologických produktov, ktoré sa používajú na rozpoznávanie tváre.

Napríklad jeden z našich klientov musí vybrať fotografie - takzvaný bestshot z videostreamu. Náš program to teda zvláda sám. Iný klient potrebuje, aby systém rozpoznal tvár nielen pri prihlásení do internetovej banky, ale aj počas celej relácie, pretože sa môžete vzdialiť a narušiteľ použije váš prístup. Aj s touto úlohou sme sa vyrovnali.

Hlavnými klientmi VisionLabs sú banky. Napríklad v „Poštovej banke“ je 50 000 pracovísk vybavených systémom LUNA - ide o najväčšie zavedenie biometrických údajov na svete. Je tiež dôležité rozpoznať tváre klientov, aby ste mohli porovnať fotografie v pasoch s fotografiami v databáze. Najbežnejším podvodom v tejto oblasti je koniec koncov vloženie vašej fotografie do pasu niekoho iného s cieľom získať pôžičku.

Ako stroje vidia

Alexander Khanin, riaditeľ spoločnosti VisionLabs, prichádza za nami.

Povedz nám niečo o počítačovom videní?

Alexander Khanin:Počítačové videnie je oblasť aplikovanej matematiky, ktorá je komplexnosťou rovnocenná s úlohou vytvárania umelej inteligencie všeobecne. Vizuálny kanál je hlavný na získavanie informácií o svete okolo. A tomu, čo sme videli na vlastné oči, dôverujeme viac ako iným zdrojom.

Našou úlohou je naučiť foto alebo video program robiť závery a chápať obraz rovnako ako človek. Alebo ešte lepšie. Keď sa stroj v tejto zručnosti rovná mužovi, bude možné považovať problém za vyriešený. Zatiaľ je vyriešený iba pre niektoré úzke aplikačné oblasti. Napríklad na rozpoznávanie chýb zariadenia alebo rozpoznávanie tváre.

Vyriešili ste problém s rozpoznávaním tváre?

Alexander Khanin: Áno, už sa spoľahlivo preukázalo, že stroj rozlišuje tváre lepšie ako my. A presnejšie a rýchlejšie. Človek nie je veľmi dobrý v určovaní veku, národnosti. U tých, ktorí žijú v Európe, je menšia pravdepodobnosť, že rozlíšia tváre ľudí ázijského vzhľadu, a naopak. Sme tiež zábudliví. Aby toho nebolo málo, stroj to robí desiatky miliónovkrát rýchlejšie.

Ale človek neanalyzuje jednotlivé parametre, ale tvár a dokonca celú situáciu. Rozumieme kontextu, v ktorom tvár partnera nadobúda konkrétny výraz. Ako to všetko zvláda stroj?

Alexander Khanin: Kombinácia najlepších techník počítačového videnia a strojového učenia. Vezmime si napríklad metódu hlbokého učenia - jej zvláštnosťou je, že človek nenastavuje parametre tváre na rozpoznanie.

Programuje sa neurónová sieť sama?

Alexander Khanin: Neurónové siete sa objavili v 70. rokoch a revolúcia v tejto oblasti začala okolo rokov 2013 - 2014. Pretože iba do tejto doby bolo možné zhromaždiť dostatočne veľké množstvo dát na výučbu neurónových sietí a výpočtový výkon sa stal relatívne lacným. Pokračovanie vo vývoji deterministických metód rozpoznávania - naznačujúcich, ktoré časti tváre sa majú porovnávať - \u200b\u200bstratilo zmysel.

Prelom nastal, keď opustili dané parametre napríklad z kľúčových bodov na tvári. Namiesto toho dostal stroj úlohu: „Pozri, tu je desaťtisíc párov fotografií, každý pár je jedna osoba. Analyzuj ich tak, aby boli schopní identifikovať na fotografiách, ktoré ešte nevidíš, kde je jedna osoba a kde sú iný. ““ Stroj sám nájde parametre, ktoré sú dôležité pre riešenie tohto problému.

Takto ste trénovali svoj systém?

Alexander Khanin: Áno, toto je typická identifikačná úloha - porovnať teraz urobenú fotografiu s fotografiou v pase a potvrdiť, že ide o tú istú osobu. Dali sme stroju veľké dáta ako vstup - milióny párov fotografií a na výstupe sme požadovali správnu odpoveď na všetky fotografie. A systém sa naučil - sám upravoval parametre tak, aby minimalizoval chyby. To znamená, že pre hlboké učenie musíte najskôr nájsť tréningovú sadu - existuje veľa príkladov správnych riešení. Potom program funguje sám.

Odkiaľ ste vzali tieto milióny párov fotografií?

Alexander Khanin: Pre výskumných pracovníkov sú k dispozícii vzorky školení - najskôr sme ich použili a potom sme spolupracovali s partnermi a klientmi, ktorí im umožnili pokračovať v odbornej príprave o ich údajoch.

Ako uspieť na trhu

Problém rozpoznávania ľudí podľa tváre bol vyriešený. Čo definícia emócií?

Alexander Khanin: Ako napríklad v afrických krajinách ľudia prešli telegrafným stupňom a okamžite prešli na mobilnú sieť, tak sme sa bez riešenia problému rozpoznávania emócií okamžite presunuli na vyššiu úroveň - k záverom o ľudských vlastnostiach, ktoré sú dôležité pre našu klientov. Biznis ukazuje, že skutočnosť, že stroj rozpozná, či sa človek usmieva alebo mračí, nemá žiadny význam. Potrebné sú vážnejšie zručnosti.

Poznať napríklad klamstvá?

Alexander Khanin: Áno. Alebo zistite, či uchádzač spĺňa vaše požiadavky alebo nie. Či už je klient spokojný so službou alebo nie - úsmev môže vyjadriť nielen radosť, ale aj posmech a latentnú nespokojnosť. Samotné rozpoznávanie emócií je teda čiastkovou úlohou. Študujeme tvár v dynamike, sled reakcií na otázky, služba, prostredie.

Existujú na svete inovatívne produkty, na ktoré zacieľujete?

Alexander Khanin: Sami sme na prednom krídle. Je medicínskym faktom, že náš produkt je prvým komplexným systémom rozpoznávania tváre na svete pre banky a maloobchod, ktorý funguje v mobilných telefónoch, na webových stránkach, v pobočkách, v bankomatoch a v samoobslužných termináloch - všade. Sme nielen prví, ale zatiaľ, pokiaľ viem, aj jediní.

Majú už niektoré samoobslužné terminály nainštalovaný systém rozpoznávania tváre?

Alexander Khanin: Áno, napríklad v banke „Otkrytie“ - v termináloch elektronickej fronty. A nejde o pilotné projekty, ale o tie, ktoré fungujú a uspokojujú zákazníkov v reálnych podmienkach.

Cítite, ako vám konkurencia dýcha na chrbát?

Alexander Khanin: Existuje veľa pilotných projektov v oblastiach, ktoré sú nám blízke. Existujú desiatky spoločností, ktoré sa zaoberajú rozpoznávaním tváre iba v Rusku, v Číne - asi sto na svete - viac ako tisíc. Preto hovorím, že samotný problém rozpoznávania tváre je vyriešený - minimálne pre väčšinu segmentov a praktické problémy.

Pre úspech na trhu nie je dôležitá technológia. Väčšina zákazníkov sa nestará o to, akú technológiu máme a ako vyriešime problém, napríklad zrýchlenie služieb v banke alebo obchode - pomocou rozpoznávania tváre, predpovede počasia alebo čiernej mágie. Je pre nich dôležité, aby došlo k výsledku.

Spoznajte všetkých!

Aké úlohy ešte neboli vyriešené, ale budú v dohľadnej dobe? Na čom pracujú špecialisti?

Alexander Khanin: Jednou z najdôležitejších nevyriešených úloh je rozpoznávanie tváre v úplne nekontrolovateľnom prostredí, napríklad v dave. Mnoho ľudí tvrdí, že vie, ako na to, ale v skutočnosti sa zatiaľ nič také neimplementovalo. Vraj hovoria márne.

Nie je nezákonné rozpoznávať náhodných ľudí podľa tváre? Toto je použitie osobných údajov.

Alexander Khanin: Obchod je samozrejme zakázaný. Jedná sa o porušenie ľudských práv a zásah do súkromia. Technológie vo všeobecnosti teraz umožňujú oveľa viac, ako povoľujú právne predpisy. Ale pracujeme iba v bielej zóne - v úplnom súlade so zákonom. Je pre nás dôležité, aby sme neporušovali práva ľudí. Nemáme právo používať ich údaje zo sociálnych sietí bez súhlasu osoby a preto nevyrobíme napríklad systém pre obchod, ktorý vyhľadáva informácie o klientovi podľa jeho fotografie. Môžeme však vytvoriť program, ktorý z fotografie približne odhadne pohlavie a vek kupujúcich.

Naša spoločnosť pracuje iba s podnikaním, ale národné bezpečnostné služby majú systémy, ktoré hľadajú ľudí z fotografií.

To znamená, že FSB je povolená, ale bežní ľudia nie sú povolení?

Alexander Khanin: Áno. Ak chce tajná služba nájsť v dave teroristu, musí všetkých naskenovať a rozpoznať. A ak človek šiel do obchodu a program pomocou fotografie našiel svoj účet na sociálnej sieti, rozpoznal svoje telefónne číslo a začal posielať spam, ide o veľmi vážne porušenie. Na Západe je za to ustanovená trestná zodpovednosť.

Majú letiská už systémy rozpoznávania tváre?

Alexander Khanin: Áno, väčšinou pri pasovej kontrole - kontrolujú, či ide o váš pas, či je falošný a či sa nachádzate na blokovanom zozname alebo na zozname federálnych hľadaní. V zahraničí je stupeň automatizácie oveľa vyšší. Na letiskách v Singapure, Londýne a Paríži je možné pasovú kontrolu absolvovať automaticky, bez účasti zamestnancov. Naskenujete pas, odfotíte sa, overenie prebehne - a je to, môžete ísť ďalej.

Hádajte, čo je na obrázku

Ako sa vyvinie počítačové videnie?

Alexander Khanin: Existuje veľká skupina úloh, ktorá sa nazýva vizuálna odpoveď na otázky: ukážete počítaču obrázok a musí rozumieť tomu, čo je tam zobrazené. Je to veľmi ťažké: ak sa len naučíte samostatne rozpoznávať objekty, nič nebude fungovať - \u200b\u200bmusíte pochopiť kontext a vzájomné vzťahy objektov.

Ďalšou podobnou úlohou je rozpoznávanie ľudských činov, ktoré sú takisto determinované do veľkej miery kontextom. Napríklad, ak človek zdvihol ruku, čo to znamená? Ukazuje cestu alebo ide niekoho udrieť? Tu sedíme a premýšľame.

Chcete teda naučiť stroje rozpoznávať vzory, ktorých význam závisí od kontextu?

Alexander Khanin: Naučiť sa interpretovať kontext a tým rozoznávať obrázky, činy, scény.

Kedy uvidia roboti

Alexander Khanin: Prial by som si, aby sa dokončil vývoj počítačového videnia. Potom budú mať roboti skutočné oči, čo znamená, že budú schopní pochopiť, čo sa deje, a primerane reagovať. V opačnom prípade sa nestanú súčasťou spoločnosti, ale zostanú hračkami s diaľkovým ovládaním.

Ako budú systémy rozpoznávania tváre meniť náš život v nasledujúcich rokoch?

Alexander Khanin: Počas autorizácie si určite všimnete prácu takýchto systémov - napríklad pri odomykaní telefónu. Mnohí sú už na Touch ID zvyknutí, čoskoro však bude najbežnejším spôsobom vstúpiť do systému tvárou. Po príchode domov nebudete hľadať kľúče, nebudete potrebovať preukaz v práci. Služby a samoobsluhy v bankách, obchodoch a v celom sektore služieb sa zrýchlia: zúčtovanie prebehne bez kariet.

V uliciach sa stane bezpečnejším videomonitorovaním s funkciami sledovania. Mestám a krajinám sa poskytne ďalšia ochrana a odplata za trestný čin bude nevyhnutná. Systém zaznamená všetko: kto a kde to urobil, kam išiel neskôr. Koncept „bezpečného mesta“ bude nahradený „inteligentným mestom“: rovnaká infraštruktúra zabezpečí bezpečnosť a bude napríklad riadiť tok ľudí a automobilov a oveľa viac.

Všade nainštalovaný rovnaký systém kamier a počítačového videnia?

Alexander Khanin: Áno, algoritmu je jedno, koho rozpozná: VIP klienta alebo zlodeja. Tváre všetkých sú usporiadané rovnako: oči, ústa a nos. Nie sú to však len tváre. Rovnaký systém si poradí napríklad s ovládaním osvetlenia. Ak v miestnosti nie sú ľudia, prečo spaľovať elektrinu? Automobil zavolá komunálne služby, ak zistí problém atď.

Žiť vo svete, kde je všetko na očiach, je strašidelné. Technicky je čoraz jednoduchšie vybudovať dystopiu, kde sú všetci sledovaní ...

Alexander Khanin: Myslím si, že svet sa nakoniec stane lepším a oveľa bezpečnejším miestom. Bude však ťažšie klamať. Napríklad moji partneri a ja sme nedávno vyvinuli produkt, ktorý umožňuje nielen prístup do pracovného priestoru, ale zohľadňuje aj čas strávený v ňom: prišli sme v tomto čase, v tom čase sme zostali. Neprítomný, neskoro, nevrátil sa z obeda - všetko sa zaznamená.

A nebude existovať spôsob, ako sa pred tým skryť? Určite tam budú masky s tvárou niekoho iného.

Alexander Khanin: Existuje samozrejme veľa spôsobov, ako oklamať systém, a v tejto oblasti sa „preteky v zbrojení“ ešte len začínajú. Bolo video, kde sa učili robiť make-up, ktorý prekáža rozpoznávaniu. Ale to bolo asi pred tromi rokmi - súčasné algoritmy sa nedajú ľahko oklamať.

A ak namiesto tváre ukážeš fotografiu?

Alexander Khanin: Na detekciu podvodníkov naprogramujú systémy rozpoznávania tváre špeciálny „detektor životnosti“, ktorý zisťuje, či je osoba pred ňou, alebo fotografia. Existuje niekoľko ukazovateľov živosti. Najjednoduchší, ktorý sa považuje za svetový štandard, bliká. Systém môže tiež požiadať osobu, aby sa usmiala, otočila hlavu a priblížila sa k fotoaparátu, aby sa ubezpečila, že je skutočná. Ale ak je fotoaparát vybavený hĺbkovým snímačom, nie je to potrebné: stroj okamžite pochopí, že v ráme je trojrozmerný objekt, a nie fotografia.

Kto iný je na čele

Rozpoznávanie tváre nie je len veda a technika, ale aj veľký biznis, ktorý vo vyspelých krajinách rastie obrovským tempom. Výskumná spoločnosť Allied Market Research predpovedá, že do roku 2022 bude mať obrat takmer 10 miliárd dolárov. Medzi poprednými hráčmi sú aj ruskí hráči. Z desiatok startupov a výskumných projektov sme identifikovali tri z najúspešnejších.

NTechLab. Absolvent MSU Artem Kukharenko začal s aplikáciou, ktorá z fotografie určila plemeno psov. Ale už v roku 2015 získal algoritmus FaceN, ktorý vytvoril s partnermi v projekte NTechLab, dve zo štyroch nominácií hlavnej svetovej súťaže rozpoznávania tváre MegaFace, čím porazil tím Google. Skutočná sláva však spoločnosti prišla po vývoji najpopulárnejšej aplikácie FindFace, určenej na vyhľadávanie ľudí podľa fotografií v sociálnej sieti „VKontakte“. Dnes sa počet aplikácií na integráciu technológie FindFace blíži k tisícku.

Vocord.Spoločnosť Vocord možno pokojne považovať za majstra sveta v rozpoznávaní tváre: na konkurenčnom webe MegaFace je na prvom mieste a vedie s veľkým náskokom. Tím Vocord sú veteránmi na trhu systémov počítačového videnia: program diaľkového biometrického rozpoznávania tváre Vocord FaceControl vydali už v roku 2008, dnes ich produkty používa viac ako dvetisíc komerčných a vládnych organizácií. Spoločnosť sa špecializuje na identifikáciu tváre, teda hľadanie osoby v dave.

VisionLabs. Ich výrobky patria medzi tri najlepšie komerčné systémy rozpoznávania tváre na svete. Prečítajte si viac o tejto spoločnosti v hlavnom texte.

Hlavné typy biometrie

Medzinárodná klasifikácia metód identifikácie človeka

Tvár. Program pre fotografiu alebo videozáznam tváre analyzuje veľkosť a tvar očí, nosa, lícnych kostí, ich relatívnu polohu a na základe týchto údajov vytvára jedinečnú kombináciu, ktorá potom z dôvodu zhody porovnáva s tými existujúcimi.

Odtlačky prstov. Metóda odtlačkov prstov je založená na jedinečnosti papilárneho vzoru pokožky a vo forenznej vede sa široko používa.

Reč. Metóda rozpoznávania založená na prevode hovorenej reči na digitálne informácie.

Oči. K rozpoznaniu dochádza v dôsledku porovnania digitálneho obrazu dúhovky s tými, ktoré sú k dispozícii v databáze.

Viedeň. Metóda identifikácie založená na venóznom vzore ruky alebo prstov.

Získať pôžičku, požiadať o vízum a jednoducho uviesť na trh smartfón najnovšieho modelu - to všetko je dnes nemožné bez účasti algoritmov rozpoznávania tváre. Pomáhajú policajtom pri vyšetrovaní, hudobníkom - na pódiu, ale postupne sa menia na vševidiace oko, ktoré sleduje všetky naše akcie online aj offline.

Algoritmy (technológie)

Z pohľadu počítača znamená identifikácia osoby z fotografie dve veľmi odlišné úlohy: po prvé, nájsť na obrázku tvár (ak existuje), a po druhé, izolovať od obrazu tie vlastnosti, ktoré ho odlišujú osoba od iných ľudí z databázy.

1. Nájdite

Pokusy učiť počítače vyhľadávať tváre na fotografiách existujú už od začiatku 70. rokov. Vyskúšalo sa veľa prístupov, ale najdôležitejší prielom nastal oveľa neskôr - keď v roku 2001 vytvorili Paul Viola a Michael Jones metódu kaskádovej podpory, teda reťaz slabých klasifikátorov. Aj keď v súčasnosti existuje viac prefíkaných algoritmov, môžete sa staviť, že stará dobrá Viola-Jones funguje vo vašom mobilnom telefóne aj vo fotoaparáte. Všetko je to o pozoruhodnej rýchlosti a spoľahlivosti: ešte v roku 2001 bol priemerný počítač využívajúci túto metódu schopný spracovať 15 obrázkov za sekundu. Účinnosť algoritmu dnes spĺňa všetky rozumné požiadavky. Hlavná vec, ktorú potrebujete o tejto metóde vedieť, je, že je prekvapivo jednoduchá. Ani neuveríte koľko.

1. Krok 1. Odstránime farbu a obrázok premeníme na maticu jasu.
2. Krok 2. Vložte na ňu jednu zo štvorcových masiek - hovorí sa im Haarove rysy. Prejdeme s ním celý obrázok, pričom zmeníme polohu a veľkosť.
3. Krok 3. Pridajte numerické hodnoty jasu z tých buniek matice, ktoré spadali pod bielu časť masky, a odčítajte od nich tie hodnoty, ktoré spadali pod čiernu časť. Ak sa aspoň v jednom z prípadov ukázal rozdiel medzi bielou a čiernou oblasťou nad určitou prahovou hodnotou, zoberieme túto oblasť obrazu na ďalšiu prácu. Ak nie, zabudneme na ňu, nie je tu žiadna tvár.
4. Krok 4. Opakujte od kroku 2 s novou maskou - ale iba v oblasti obrázka, ktorý prešiel prvým testom.

Prečo to funguje? Pozri na znamenie. Takmer na všetkých fotografiách je oblasť očí vždy o niečo tmavšia ako oblasť bezprostredne pod ňou. Hľadajte znamenie: svetlá oblasť v strede zodpovedá mostu nosa, ktorý sa nachádza medzi tmavými očami. Čiernobiele masky na prvý pohľad vôbec nevyzerajú ako tváre, ale pri všetkej svojej primitívnosti majú vysokú zovšeobecňujúcu silu.

Prečo je to také rýchle?Jeden dôležitý bod nie je v opísanom algoritme zaznamenaný. Ak chcete odpočítať jas jednej časti obrázka od druhej, budete musieť pridať jas každého pixelu a môže ich byť veľa. Preto sa v skutočnosti pred aplikáciou masky matica preloží do integrálneho zobrazenia: hodnoty v matici jasu sa pridajú vopred tak, že integrovaný jas obdĺžnika je možné získať pridaním iba štyri čísla.

Ako zostaviť kaskádu? Aj keď každá etapa maskovania prináša veľmi veľkú chybu (skutočná presnosť nie je oveľa vyššia ako 50%), sila algoritmu spočíva v kaskádovej organizácii procesu. To vám umožní rýchlo vylúčiť z analýzy oblasti, kde určite nie je žiadna tvár, a vynaložiť úsilie iba na tie oblasti, ktoré môžu dať výsledok. Tento princíp zostavovania slabých klasifikátorov v postupnosti sa nazýva boosting (viac si o ňom môžete prečítať v októbrovom vydaní „PM“ alebo). Všeobecná zásada je táto: aj veľké chyby, vynásobené navzájom, sa stanú malými.

2. Zjednodušte

Nájsť vlastnosti tváre, ktoré by umožnili identifikovať jej vlastníka, znamená redukovať realitu na vzorec. Toto je zjednodušenie a veľmi radikálne. Napríklad aj miniatúrna fotografia 64 x 64 pixelov môže mať obrovské množstvo rôznych kombinácií pixelov - (2 8) 64 x 64 \u003d 2 32768 kusov. Navyše, na spočítanie každého zo 7,6 miliárd ľudí na Zemi by stačilo iba 33 bitov. Pri prechode z jedného čísla na druhé musíte vylúčiť všetok cudzí hluk, musíte však zachovať najdôležitejšie individuálne vlastnosti. Štatistici oboznámení s týmito úlohami vyvinuli mnoho nástrojov na zjednodušenie údajov. Napríklad metóda hlavných zložiek, ktorá položila základ identifikácie osôb. Konvenčné neurónové siete však v poslednej dobe nechali staré metódy pozadu. Ich štruktúra je dosť zvláštna, ale v skutočnosti ide tiež o metódu zjednodušenia: jej úlohou je zmenšiť konkrétny obraz na súbor funkcií.

Na obrázok aplikujeme masku pevnej veľkosti (správne sa nazýva konvolučné jadro), vynásobíme jas každého pixelu v obraze hodnotami jasu v maske. Nájdeme priemernú hodnotu pre všetky pixely v „okne“ a zapíšeme ju do jednej bunky nasledujúcej úrovne.

Masku posúvame pevným krokom, znova sa vynásobíme a opäť zapíšeme priemer do mapy funkcií.

Pri prechádzaní celého obrázka s jednou maskou to opakujeme s druhou - dostaneme novú mapu funkcií.

Zmenšujeme veľkosť našich máp: vezmeme niekoľko susedných pixelov (napríklad štvorec 2x2 alebo 3x3) a prenesieme iba jednu maximálnu hodnotu na ďalšiu úroveň. To isté robíme pre karty získané so všetkými ostatnými maskami.

Z dôvodu matematickej hygieny nahraďte všetky záporné hodnoty nulami. Opakujeme od kroku 2 toľkokrát, koľkokrát chceme získať vrstvy v neurónovej sieti.

Z poslednej mapy funkcií nezhromažďujeme nie konvolučnú, ale plne spojenú neurónovú sieť: všetky bunky poslednej úrovne premeníme na neuróny, ktoré s určitou hmotnosťou ovplyvňujú neuróny nasledujúcej vrstvy. Posledný krok. V sieťach trénovaných na klasifikáciu objektov (na odlíšenie mačiek od psov na fotografii atď.) Existuje výstupná vrstva, to znamená zoznam pravdepodobností detekcie konkrétnej odpovede. V prípade tvárí dostaneme namiesto konkrétnej odpovede krátku sadu najdôležitejších vlastností tváre. Napríklad v službe Google FaceNet ide o 128 abstraktných číselných parametrov.

3. Identifikujte

Úplne posledná fáza, samotná identifikácia, je najjednoduchším a dokonca triviálnym krokom. Znižuje sa to na posúdenie podobnosti výsledného zoznamu funkcií s tými, ktoré sú už v databáze. V matematickom žargóne to znamená nájsť v priestorovom priestore vzdialenosť od daného vektora k najbližšej oblasti známych tvárí. Rovnakým spôsobom môžete vyriešiť aj ďalší problém - nájsť navzájom podobných ľudí.

Prečo to funguje?Konvolučná neurónová sieť je „zaostrená“, aby z obrazu vyťažila najcharakteristickejšie znaky a robila to automaticky a na rôznych úrovniach abstrakcie. Zatiaľ čo prvé úrovne zvyčajne reagujú na jednoduché vzory, ako sú tieňovanie, prechody, jasné hranice atď., S každou novou úrovňou sa zložitosť funkcií zvyšuje. Masky, ktoré neurónová sieť skúša na vysokých úrovniach, často skutočne pripomínajú ľudské tváre alebo ich fragmenty. Na rozdiel od analýzy hlavných zložiek navyše neurónové siete kombinujú vlastnosti nelineárnym (a neočakávaným) spôsobom.

Odkiaľ pochádzajú masky?Na rozdiel od masiek použitých v algoritme Viola-Jones, neurónové siete upúšťajú od ľudskej pomoci a nachádzajú masky v procese učenia. Aby ste to dosiahli, musíte mať veľkú tréningovú vzorku, na ktorej by boli fotografie rôznych tvárí na veľmi odlišnom pozadí. Pokiaľ ide o výslednú sadu funkcií, ktoré neurónová sieť produkuje, je tvorená metódou tripletov. Trojky sú súbory obrazov, na ktorých prvé dva sú fotografiou tej istej osoby a tretí je fotografiou inej osoby. Neurónová sieť sa učí nachádzať také vlastnosti, ktoré prvé obrázky priblížia čo najbližšie k sebe a zároveň vylúčia tretí.

Čí je neurónová sieť lepšia? Identifikácia tváre sa už dávno presunula z akademickej pôdy do veľkého biznisu. A tu, ako v každom podnikaní, sa výrobcovia snažia dokázať, že práve ich algoritmy sú lepšie, aj keď nie vždy poskytujú údaje z otvoreného testovania. Napríklad podľa súťaže MegaFace vykazuje ruský algoritmus deepVo V3 od spoločnosti Vocord momentálne najlepšiu presnosť s výsledkom 92%. Google FaceNet v8 v rovnakej súťaži ukazuje iba 70% a DeepFace z Facebooku sa s deklarovanou presnosťou 97% na súťaži vôbec nezúčastnil. Tieto čísla je potrebné interpretovať opatrne, ale už je zrejmé, že najlepšie algoritmy takmer dosiahli ľudskú presnosť pri rozpoznávaní tváre.

Živý makeup (umenie)

V zime 2016 Lady Gaga na 58. ročníku udeľovania cien Grammy vzdala poctu Davidovi Bowiemu, ktorý zomrel krátko predtým. Počas vystúpenia sa jej po tvári rozprestierala živá láva, ktorá jej na čele a lícach zanechávala znak rozpoznateľný všetkými fanúšikmi Bowieho - oranžový blesk. Efekt pohyblivého líčenia sa vytvoril videoprojekciou: počítač sledoval pohyby speváčky v reálnom čase a premietal obrázky na jej tvár, pričom zohľadňoval jej tvar a polohu. Na internete je ľahké nájsť video, kde je viditeľné, že projekcia je stále nedokonalá a pri náhlych pohyboch je mierne oneskorená.

Nobumichi Asai vyvíja technológiu mapovania tváre Omote od roku 2014 a od roku 2015 ju aktívne predvádza na celom svete a zhromažďuje slušný zoznam ocenení. Spoločnosť, ktorú založil, WOW Inc. sa stal partnerom spoločnosti Intel a získal dobrý impulz pre vývoj. Spolupráca s Ishikawou Watanabe z Tokijskej univerzity umožnila urýchlenie projekcie. Hlavná vec sa však deje v počítači a podobné riešenia používa mnoho vývojárov aplikácií, ktoré vám umožňujú nanášať masky na tvár, či už je to prilba vojaka Impéria alebo make-up „ako David Bowie“.

Alexander Khanin, zakladateľ a výkonný riaditeľ spoločnosti VisionLabs

„Takýto systém nepotrebuje výkonný počítač a masky je možné aplikovať aj na mobilné zariadenia. Systém je schopný pracovať priamo na smartfóne bez odosielania údajov do cloudu alebo na server. ““

"Táto úloha sa nazýva sledovanie tvárových bodov." Existuje mnoho podobných riešení vo verejnej sfére, ale profesionálne projekty sú rýchle a fotorealistické, “povedal nám Alexander Khanin, vedúci spoločnosti VisionLabs. "Najťažšou vecou v tomto prípade je určiť polohu bodov s prihliadnutím na výraz tváre a individuálny tvar tváre alebo v extrémnych podmienkach: pri silných zákrutách hlavy, nedostatočnom osvetlení a veľkej expozícii." Aby sa systém naučil vyhľadávať body, trénuje sa neurónová sieť - najskôr ručne, precízne si označujúca fotografiu za fotografiou. „Pri vchode je to fotografia a na východe je vyznačená sada bodov,“ vysvetľuje Alexander. - Potom sa spustí detektor, určí sa tvár, postaví sa jej trojrozmerný model, na ktorý sa nanesie maska. Značky sa aplikujú na každú snímku streamu v reálnom čase. “

Zhruba takto funguje vynález Nobumichi Asai. Predtým japonský inžinier skenoval hlavy svojich modelov, získaval presné trojrozmerné prototypy a pripravoval videosekvenciu zohľadňujúcu tvar tváre. Úlohu uľahčujú aj malé reflexné značky, ktoré sú nalepené na účinkujúceho pred vystúpením na pódium. Päť infračervených kamier sleduje ich pohyb a prenáša sledovacie údaje do počítača. Potom sa všetko stane tak, ako nám bolo povedané v VisionLabs: detekuje sa tvár, zostrojí sa trojrozmerný model a do hry vstúpi projektor Ishikawa Watanabe.

V roku 2015 predstavil zariadenie DynaFlash: je to vysokorýchlostný projektor schopný sledovať a kompenzovať pohyby roviny, v ktorej je obraz zobrazený. Obrazovku je možné nakloniť, ale obraz nebude skreslený a bude sa vysielať s frekvenciou až tisíc 8-bitových snímok za sekundu: oneskorenie nepresahuje pre oko nepostrehnuteľné tri milisekundy. Pre Asai sa takýto projektor ukázal ako dar z nebies, živé líčenie začalo fungovať naozaj v reálnom čase. Na videu zaznamenanom v roku 2017 pre populárne japonské duo Inori už nie je viditeľné zaostávanie. Tváre tanečníkov sa zmenili na živé lebky, teraz na plačúce masky. Vyzerá sviežo a pútavo - ale technológia sa rýchlo stáva módnou. Čoskoro sa určite najčastejšie stane motýľ, ktorý sedí na tvári moderátorky počasia, alebo umelci, ktorí zakaždým na pódiu menia svoj vzhľad.

Hackovanie tvárí (aktivizmus)

Mechanika učí, že každá činnosť vytvára reakciu a rýchly vývoj systémov dohľadu a identifikácie osôb nie je výnimkou. Neurónové siete vám dnes umožňujú spojiť náhodnú rozmazanú fotografiu z ulice so snímkami nahranými na účty sociálnych médií a zistiť totožnosť okoloidúceho za pár sekúnd. Umelci, aktivisti a špecialisti na strojové videnie zároveň vytvárajú nástroje, ktoré ľuďom môžu vrátiť súkromie, osobný priestor, ktorý sa zmenšuje tak závratnou rýchlosťou.

Identifikácii je možné zabrániť v rôznych fázach algoritmov. Spravidla sú napadnuté prvé kroky procesu rozpoznávania - detekcia postáv a tvárí na obrázku. Rovnako ako vojenská kamufláž klame naše videnie, skrýva objekt, porušuje jeho geometrické proporcie a siluetu, tak sa strojové videnie snaží zameniť s farebnými kontrastnými škvrnami, ktoré preň narúšajú dôležité parametre: ovál tváre, umiestnenie očí, úst , atď. Našťastie, videnie počítačovým videním ešte nie je také dokonalé ako naše, čo ponecháva veľkú slobodu vo výbere farieb a tvarov takejto „kamufláže“.

Ružové a fialové, žlté a modré farby dominujú nad líniou oblečenia HyperFace, ktorú v januári 2017 predstavili dizajnér Adam Harvey a startup Hyphen Labs. Pixelové obrazce poskytujú strojovému videniu ideálny - z jeho pohľadu - obraz ľudskej tváre, ktorý je počítač zachytený ako návnadový cieľ. O niekoľko mesiacov neskôr moskovský programátor Grigory Bakunov a jeho kolegovia dokonca vyvinuli špeciálnu aplikáciu, ktorá generuje možnosti líčenia, ktoré narúšajú identifikačné systémy. A hoci sa autori po určitých úvahách rozhodli program nezverejniť v otvorenom prístupe, ten istý Adam Harvey ponúka niekoľko hotových možností.

Osoba, ktorá nosí masku alebo má podivný make-up na tvári, nemusí byť viditeľná pre počítačové systémy, ostatní ľudia mu však určite budú venovať pozornosť. Existujú však spôsoby, ako to urobiť, a naopak. V skutočnosti z pohľadu neurónovej siete obraz neobsahuje obrázky v našom obvyklom chápaní; pre ňu je obrázok súbor čísel a koeficientov. Preto môžu úplne odlišné objekty vyzerať ako niečo celkom podobné jej. Ak poznáte tieto nuansy práce AI, môžete podniknúť jemnejší útok a len mierne upraviť obraz - takže zmeny budú pre človeka takmer nepostrehnuteľné, ale strojové videnie bude úplne oklamané. V novembri 2017 vedci ukázali, ako malé zmeny vo farbe korytnačky alebo bejzbalu spôsobujú, že systém Google InceptionV3 s istotou vidí namiesto neho zbraň alebo espresso. A Mahmoud Sharif a jeho kolegovia z Carnegie Mellon University navrhli bodkovaný vzor na okraji okuliarov: nemá takmer žiadny vplyv na vnímanie tváre ostatnými, ale počítačová identifikácia pomocou Face ++ ho s istotou zamieňa s tvárou osoba „pod ktorou“ je navrhnutý vzor na ráme.