S kamerou v každé kapse a softwarem pro rozpoznávání obličeje zabudovaným do našich chytrých telefonů a sociálních sítí je někdy snadné zapomenout, že fotografování a identifikace tváří v nich nebylo vždy tak jednoduché. Ať už ztratíte, poškodíte nebo jednoduše neznačíte, proces identifikace lidí na starých fotografiích může být zdlouhavý. Ale, jak zjistil Kurt Luther, odborný asistent výpočetní techniky ve Virginia Tech, tato zkušenost může být také docela dojemná.
Luther byl na výstavě „Pennsylvánská občanská válka“ v Pittsburghském senátorovi John Heinz History Center v roce 2013, když narazil na fotografii svého prastarého strýce Olivera Croxtona. Popsal pohled na fotografii, která byla nejstarší rodinnou fotografií, kterou kdy viděl, jako cestování časem.
Už je to historický fanoušek se zájmem o americkou občanskou válku, okamžik uvízlý u Luthera a začal přemýšlet, jak přivést stejnou zkušenost k tisícům dalších historických nadšenců.
"Začal jsem se učit více o fotografii z občanské války, " říká Luther, "ao tom, jak identifikovat [lidi] pomocí různých vizuálních stop, jako jsou uniformy, insignie nebo fotografové studiové informace. Mezitím jsem dělal hodně výzkumu v oblasti crowdsourcingu jako profesor informatiky a myslel jsem, že existuje způsob, jak tyto dvě věci spojit. “
Luther narazil na fotografii svého skvělého strýce Olivera Croxtona. (Se svolením kolekce Ken Turner) Výsledkem je bezplatný online software s názvem Civil War Photo Sleuth, který využívá crowdsourcing a rozpoznávání obličeje, aby pomohl uživatelům identifikovat neznámé předměty na fotografiích z období občanské války. Těsně před oficiálním vydáním v roce 2018 získala tato technologie v soutěži Cloud AI Research Challenge společnosti Microsoft nejvyšší cenu 25 000 USD za využití softwaru pro rozpoznávání obličeje společnosti Microsoft a cenu za nejlepší demo na konferenci Human Computation and Crowdsourcing 2018. Tento týden se Luther prezentuje na konferenci Asociace pro výpočetní techniku na inteligentních uživatelských rozhraních v Los Angeles.
Navržen s pomocí doktorských a vysokoškolských studentů ve Virginii Tech, včetně vedoucího projektu Vikram Mohanty, a ve spolupráci s historickým oddělením Virginie Tech, Photo Sleuth používá vícebodový přístup k navržení nejpřesnějších identifikací.
Prvním zásadním krokem v procesu bylo vytvoření rozsáhlé databáze již identifikovaných fotografií. K dnešnímu dni má Photo Sleuth zhruba 17 000 identifikovaných fotografií z národních archivů, jako je americký Vojenský historický ústav a soukromé sbírky, které zahrnují nejen vojáky občanské války, ale také civilisty a další vojenské pracovníky éry.
Luther říká, že měli štěstí, že podporovali již nadšené společenství historiků občanské války s přístupem k těmto fotografiím, protože bez pevné základny již identifikovaných fotografií by bylo téměř nemožné, aby software byl užitečný.
"Není to jako v poli snů, " říká Luther, "Kdybychom spustili web bez obrázků a jen doufali, že by je uživatelé přidali všichni, museli bychom čelit problému studeného startu, kde prostě nemáte žádný obsah." “
Databáze identifikovaných fotografií hraje zásadní roli v pomoci uživatelům identifikovat fotografie, které sami nahrávají. Uživatelé ručně označují speciální vizuální rysy, jako je barva srsti, vlasy na obličeji nebo vojenské hodnosti, a fotografie prochází algoritmem rozpoznávání obličeje, aby analyzovala a zaznamenávala jedinečné poměry obličeje, například vzdálenost mezi orientačními body obličeje, jako je nos a oči. Photo Sleuth porovnává vizuální data neznámé fotografie s již identifikovanými fotografiemi v databázi a představuje uživateli to, co si myslí, že jsou nejlepší zápasy na základě podobnosti obličeje a informací odvozených od ostatních metadat, jako jsou vojáci, kteří se zdají být v stejná jednotka založená na odznakech jejich uniforem. Zatímco software podniká úmyslné kroky na cestě k omezení možnosti falešné identifikace, Luther říká, že na konci dne je na uživateli, aby provedl konečnou identifikaci, když bude předložen s nejlepšími odhady softwaru.
"Velmi jsme se zajímali o prevenci falešné identifikace, " říká Luther, "protože když mluvíte o internetu, jakmile tam dáte nějaké špatné informace, je velmi těžké se jich zbavit nebo je změnit."
Aby Luther zajistil, že jejich software poskytuje uživatelům nejlepší možné identifikace, provedl analýzu prvního měsíce navrhovaných identifikací softwaru pomocí metod uvedených ve sloupcích, které přispěl do časopisu Military Images o historii občanské války. Hodnocení identifikace z „rozhodně neodpovídá“, „pravděpodobně neodpovídá“, „pravděpodobně neodpovídá“ a „rozhodně neodpovídá“, analýza zjistila, že 85 procent navrhovaných identifikací bylo pravděpodobně nebo určitě shodné. Na konferenci tento týden Luther říká, že má v úmyslu upozornit na závěry nejnovějšího průzkumu týmu týkající se Photo Sleuth, včetně objevu, který provedl Dave Morin, sběratel obrázků z New Hampshire Civil War, o portrétu neidentifikovaného druhého poručíka Unie . Foto Sleuth navrhl, že muž v portrétu byl William H. Baldwin z 1. New York Engineers. Morin, který potvrdil, že Baldwin byl rodák z New Hampshire, říká, že by nikdy nenašel dotyčného inženýra ze žuly bez pomoci Photo Sleuth.
Kurt Luther je docentem výpočetní techniky ve Virginii Tech. (Amy Loeffler) Výzkum také zdůrazňuje komplementární silné stránky lidských historiků a samotného softwaru. Přes své nejlepší úsilí Luther říká, že tento software může jít tak daleko, až identifikuje správné shody, a spoléhá na uživatele, aby pomohli identifikovat stopy, které jsou v mrtvých bodech algoritmu obličeje.
"[Algoritmus] je vyškolen pro obecné rozpoznávání tváře [na] většinou moderních obrazů, " říká Luther. "AI má těžký čas, když je obličej otočen na stranu [v profilu]." Podle dnešních standardů je to jakýsi neobvyklý portrét, ale v polovině 19. století to bylo běžné. “
Tým také zjistil, že uživatelé byli mnohem úspěšnější než samotný algoritmus při identifikaci jiných jedinečných tvůrců, jako jsou vousy a jizvy.
Patrick Lewis, historik občanské války a vedoucí redaktor vědeckých zdrojů a publikací v Kentucky Historical Society, který nebyl součástí vývoje Photo Sleuth, říká, že občanská válka Photo Sleuth bude skvělým nástrojem nejen k tomu, aby tyto zapomenuté příběhy život, ale pomáhat i nadále budovat síť spolupracujících historiků občanské války po celé zemi.
"Rád se vracím a podívám se na nové fotky označené značkou Kentucky, " říká Lewis. "[A zeptat se] kdo jsou lidé, kteří tam shromažďují? Jsou jejich individuální sběratelé, o kterých bych měl vědět, a měl bych se s nimi spojit, aby zjistili, zda nemají nějaké další materiály, které by mohly být předmětem výzkumu? “
Přestože se ještě musí spojit s jakýmkoli individuálním sběratelem prostřednictvím služby Photo Sleuth, Lewis říká, že samotná Kentucky Historical Society pracuje na vytváření záznamů známých online archivů a že software jako Photo Sleuth by výrazně zlepšil jejich schopnost pokračovat v této práci.
V budoucnu Luther říká, že se snaží „zdvojnásobit lidské silné stránky“ softwaru, včetně přidání možnosti „Druhý názor“, která umožní více uživatelům spolupracovat na konečné identifikaci fotografie, a také bude fungovat. o rozšíření fyzického dosahu a správy komunity za účelem rozšíření uživatelské základny Photo Sleuth. Software také uvidí některé obličeje zvedání, včetně nové funkce, která umožní uživatelům nahrávat a identifikovat lidi na skupinové fotografii.
"Naším konečným cílem je identifikovat každou neznámou fotografii z občanské války, " říká Luther, "a získejte [Foto Sleuth] větší a lepší, protože 25 000 obrázků je jen kapkou v kbelíku."
