Každý den uživatelé nahrávají na Facebook více než 350 milionů fotografií. Tento příliv obrázků vedl analytiky k odhadu, že v minulém roce bylo pořízeno 10 procent z 3, 5 bilionů fotografií na světě. Všechna tato data zaplavující web znamená, že pokud hledáte konkrétní obrázek nebo objekt - například, jak vypadá oranžová mourovatá kočka -, jste pozitivně zaplaveni výsledky vyhledávání.
Minulý měsíc vědci z University of California, Berkeley představili nový software AverageExplorer, který uživatelům umožní vidět „průměrný“ obraz, který představuje to, co hledají. Spíše než obraz v hodnotě tisíc slov je to obraz v hodnotě tisíců nebo více obrázků.
"Když zadáte vyhledávání obrázků Google, budete procházet stránkami a stránkami obrázků, " vysvětluje Jun-Yan Zhu, postgraduální student UC Berkeley a hlavní autor článku, představený na letošní mezinárodní konferenci a výstavě o počítačové grafice a interaktivní techniky ve Vancouveru. "Je to obrovské a těžké shrnout; nemůžete pochopit, co se děje. “
Pro svou počáteční nabídku Zhu a jeho tým sbírali fotografie prostřednictvím vyhledávání obrázků Flickr, Google a Bing. Tento software je dostatečně nízký, aby mohl běžet na průměrné ploše, a dokáže rozbít přibližně 10 000 obrázků současně.
Uživatelé zpřesňují vyhledávání několika různými způsoby. Mohou načrtnout a obarvit tvar, podobný tomu v kresbě v Adobe Photoshopu nebo Illustratoru, aby zaostřili svůj průměrný výsledek. Například zbarvení pozadí průměrného obrazu Eiffelovy věže si samo vybere průměrný snímek a vytáhne pouze snímky pořízené v noci. Nebo můžete nakreslit šikmé čáry pro ovládání orientace motýla v kompozitu.
Zpřesněním barev v obrázku Průzkumníka mostu vzdechů můžete změnit scénu ze dne na soumrak na noc. (Se svolením UC Berkeley) Jakmile je vytvořen průměrný obrázek, proces, který může trvat až minutu, mohou uživatelé dále upřesňovat výsledek pomocí toho, co tým nazývá režim Průzkumníka. V tomto režimu kliknutím na určitou část obrázku - řekněme, kočičí nos - odhalíte další běžné možnosti nebo vylepšení pro toto místo - možná modré nebo černé nosy nebo ty, které jsou zaoblené místo úhlových. Například v ukázkovém videu tým vylepšil obraz dětí na klíně Santa tím, že vybral pouze obrázky, kde má Santa na každé paži jedno dítě.
Tam, kde se systém stane zvláště výkonným, říká Zhu, je nástrojem pro školení algoritmů počítačového vidění, jako jsou ty, které používají Google Goggles nebo aplikace Amazon Firefly, které dokážou zjistit, na co kamera směřuje. "V oblasti počítačového vidění lidé utrácí spoustu peněz za označování objektů, " vysvětluje. „Nyní můžete použít anotaci na průměrný obrázek. Myšlenka je taková, že pro šíření všech obrázků v datové sadě musíte pracovat pouze na jednom obrázku. “
Zpřesněním režimů výsledků vyhledávání mohou vědci najít konkrétní plemena koček, včetně (zleva doprava) Ragdoll, Siamese, Mainského mývalího a Sfingy. (Se svolením UC Berkeley) Vytváření uměleckých děl je plodem LowExvisingu pro AverageExplorer. Tým čerpal inspiraci od nových mediálních umělců, jako je Jason Salavon, který pečlivě vytvářel průměrované fotografie ručně. Mohlo by se také použít k vytvoření zásuvného modulu Facebook, který uživatelům umožní pohrávat si s průměrným obrazem sebe samých.
Aspekty výzkumných pracovníků jsou ještě širší a působivější. Sociologové by mohli tento systém použít ke zjišťování a výzkumu sociálních trendů; například průměrný obrázek by mohl prokázat, že nevěsty nejčastěji stojí napravo od ženicha ve svatebních portrétech. AverageExplorer může být také užitečným nástrojem pro mediální analytiky, kteří se snaží rozptýlit televizní vysílání - mění se postoj Stephena Colberta, když mluví o George W. Bushovi oproti Barackovi Obamovi?
Tím, že uživatelům umožní intuitivní interakci s vizuálními daty namísto snahy o zadání správného řetězce klíčových slov, budou uživatelé moci přemostit to, co Zhuův poradce a spolutvůrce Průměrného průzkumníka Alexej Efros nazývá „úzkým jazykem“.
Tým si představuje sadu vlastních nástrojů určených pro specifické, obtížně formulovatelné úkoly. Například nákupní aplikace by uživateli umožnila pavouk na webu pro pár podpatků s přesnou barvou, tvarem paty a výškou, po které je. Zhu představuje nástroj, který se integruje do pracovního postupu umělců policejních skic a umožňuje svědkovi vyhledávat v databázích obličeje prvky, které odpovídají pachatelům, a sestavit složený portrét.
Na podzim tohoto roku bude vydána základní verze programu AverageExplorer.
