Před několika týdny jsem byl v nákupním středisku, když jsem si všiml ženy, která nosí velkou kabelku s popruhem podobným lanu. Protože jsem na trhu s novým tote, uvažoval jsem se jí zeptat, kde to má. Ale než jsem se mohl pohnout, zmizela za rohem. Když jsem se vrátil domů, zkusil jsem Googling tašku. Ale nejsem móda a zjistil jsem, že nemám slovník, který by popisoval to, co jsem viděl. „Kožená kabelka se stahovacím popruhem“ neměla pravdu. Nebyla to ani „kabelka s držadlem lana“ nebo „taška s popruhem na kabel“. Nakonec jsem se vzdal.
Nová technologie si nyní klade za cíl pomáhat lidem hledat věci, které nemohou nutně popsat slovy.
James Hays, počítačový vědec v gruzínském technologickém institutu, vytvořil počítačový program schopný porovnávat ručně kreslené obrázky s fotografiemi. To by nakonec mohlo vést k programu, který dokáže kombinovat služby internetového vyhledávání obrázků, jako jsou například Obrázky Google, a najít fotografie, které přesně odpovídají výkresům uživatelů.
"Cílem je být schopen propojit nebo porovnat fotografie a náčrtky v obou směrech, stejně jako lidská plechovka, " říká Hays. "Člověk může vidět špatně nakreslenou skicu a zjistit, s jakou fotografií se zdá. Chceme mít stejnou schopnost výpočetně. “
Pro vytvoření programu najal Hays téměř 700 pracovníků z Amazon Mechanical Turk, trhu s crowdsourcingem, který spojuje pracovníky s lidmi, kteří potřebují provést úkoly. Jeho tým ukázal dělníkům fotografie obyčejných předmětů a zvířat, jako jsou veverky, konvice a banány, což jim umožnilo podívat se na obrázek na dvě sekundy. Pracovník by potom objekt vytáhl z paměti. Tým nakonec shromáždil více než 75 000 náčrtů z 12 500 objektů. Nazývali to „útržkovitá databáze“.
Program poté analyzoval náčrtky a sladil je s fotografií, na kterou se nejvíce podobali. Technologie identifikovala správnou fotografii 37 procent času. Lidé měli ve srovnání asi 54 procent času. I když se 37 procent nemusí zdát působivé, ve skutečnosti je to pro počítače docela skok.
"Lidé jsou už tak překvapivě dobří ve vidění, rozpoznáváme obrázky bez námahy, " říká Hays. "Je to ve skutečnosti překvapivě obtížné z počítačového hlediska."
Jednou z hlavních výzev při zlepšování programu je skutečnost, že většina lidí je velmi mizerných umělců. Jak Hays a jeho tým psali v článku o tomto tématu, „Tvary a stupnice jsou zdeformované. Části předmětu jsou karikaturované (velké uši na slonech), antropomorfizovány (usmívající se ústa na pavouci) nebo zjednodušené (končetiny na tyčce). “
Historicky se výzkum zaměřený na to, aby počítače rozpoznávaly náčrtky, zaměřil na věci, jako je rozdělení čar ve výkresu, směr, kterým se čáry pohybují nebo kde jsou hranice výkresu. Ale protože lidé kreslí pouze to, co je pro člověka charakteristické (například oči jsou vždy zahrnuty do náčrtů, i když jsou relativně malé), je důležité, aby počítač „naučil“, jak jsou náčrtky podobné a jak mají sklon se liší od fotografií. Program používá dvě oddělené sítě, jednu, která vyhodnocuje náčrtky, druhou, která vyhodnocuje fotografie. Konstantní analýzou velkého souboru dat se program může neustále „učit“.
Hays a jeho tým plánují pokračovat v zlepšování programu přidáváním dat. Pokroky v počítačovém učení by také měly pomoci zlepšit míru shody. Od teď má program poměrně vysokou míru shody při porovnávání náčrtů s internetovými databázemi fotografií, včetně Flickru, ačkoli je obtížné kvantifikovat, říká Hays.
Kromě vyhledávání obrázků kabelky, které tak velmi potřebuji, má program řadu méně frivolních možností využití. Policie mohla naskenovat podezřelé náčrtky a porovnat je s databází trestních fotografií. Program by mohli používat lidé, kteří mluví a píší v jakémkoli jazyce nebo vůbec neumí psát.
"Jedním z cílů porozumění náčrtům je, že jsou poněkud univerzálním jazykem, " říká Hays. "Není to vázáno na konkrétní psaný jazyk a vůbec to není vázáno na gramotnost." [Takový program by mohl přinést] přístup k informacím bez písemného jazyka. “
Program lze také použít umělecky k vytvoření fotorealistických scén z náčrtků. Vždy jste si představovali život na zámku na Měsíci? Nakreslete jej a program by jednoho dne mohl vytvořit obraz pro vás spojením kusů jiných obrázků.
Informace získané Haysem a jeho týmem by také mohly pomoci vyřešit některé neurovědní a psychologické otázky, říká Hays.
"Tyto dvojice náčrtků a fotografií říkají něco o lidském vnímání, o tom, co si myslíme, že je významné, které části obrazů upoutají naši pozornost, " říká Hays. "V některých ohledech tato databáze kóduje docela dobře." Mohlo by se z toho něco škádlit, pokud chcete něco říci o lidech samotných. “
