Počítače dominují lidem v hrách typu one-on-one, jako jsou šachy, po desetiletí, ale získání umělé inteligence (AI) ke spolupráci se spoluhráči je o něco složitější. Nyní vědci z projektu Google DeepMind naučili hráče umělé inteligence, aby spolupracovali v týmech jak s lidmi, tak s dalšími počítači, aby mohli soutěžit ve videohře Quake III Arena v roce 1999.
Edd Gent at Science hlásí, že když má AI pouze jednoho soupeře, obvykle se to povede docela dobře, protože to jen předvídá možné pohyby jediné mysli. Týmová práce je však úplně jiná záležitost, protože zahrnuje akce, na nichž počítače nejsou tradičně dobré, jako předpovídání toho, jak se bude chovat skupina spoluhráčů. Aby byla umělá inteligence skutečně užitečná, musí se naučit, jak spolupracovat s jinými inteligenci.
Tým společnosti DeepMind společnosti Google vysvětluje v příspěvku na blogu:
„Miliardy lidí obývají planetu, každý se svými vlastními individuálními cíli a činy, ale stále je schopen spojit se prostřednictvím týmů, organizací a společností v působivých projevech kolektivní inteligence. Toto je nastavení, které nazýváme učení více agentů: mnoho jednotlivých agentů musí jednat nezávisle, přesto se musí naučit interagovat a spolupracovat s jinými agenty. To je nesmírně obtížný problém - protože u agentů, kteří se přizpůsobují, se svět neustále mění. “
Videohry pro více hráčů z první osoby, ve kterých týmy hráčů pobíhají po virtuálních světech, obvykle střílejí na sebe zbraně nebo granátomety, jsou ideálním místem pro AI, aby se naučily složitosti týmové práce. Každý hráč musí jednat samostatně a rozhodovat se pro tým jako celek.
Pro studii tým trénoval AI, aby zahrál vlajku na platformě Quake III Arena . Pravidla jsou celkem jednoduchá: Dva týmy stojí před bludištěm na bitevním poli. Cílem je zachytit co nejvíce ostatních týmů virtuálních vlajek a zároveň chránit své vlastní, a kterýkoli tým zachytí nejvíce vlajek za pět minut vítězství. V praxi se však věci mohou velmi rychle zkomplikovat.
Tým DeepMind vytvořil 30 algoritmů neuronové sítě a nechal je navzájem bojovat na řadě náhodně generovaných herních map. Boti získávali body tím, že zachytili vlajky a přepínali ostatní hráče, posílali je zpět do respawn oblasti, kde se jejich postava restartovala. Zpočátku se akce robotů zdály náhodné. Čím více však hráli, tím lépe se stali. Všechny neuronové sítě, které byly trvale ztraceny, byly odstraněny a byly nahrazeny upravenými verzemi vyhrávající AI. Na konci 450 000 her tým korunoval jednu neuronovou síť - dabovanou za vítězství (FTW) - jako vítěz.
Skupina DeepMind hrála FTW algoritmus proti tomu, čemu se říká zrcadlové roboty, kterým chybí AI učební dovednosti, a pak také proti lidským týmům. FTW rozdrtil všechny soupeře.
Skupina pak uspořádala turnaj, ve kterém bylo náhodně přiřazeno 40 lidských hráčů jako spoluhráčů i odpůrců robota. Podle příspěvku na blogu lidští hráči zjistili, že roboti spolupracovali více než jejich skuteční spoluhráči. Lidští hráči spárovaní s agenty FTW dokázali porazit kybernetické válečníky v asi 5 procentech zápasů.
Jak se dozvěděli, roboti objevili některé strategie, které lidští hráči již dlouho přijali, jako je pověsit se poblíž respawn bodu vlajky a chytit ho, až se znovu objeví. Týmy FTW také objevily chybu, kterou mohli využít: pokud zastřelili svého vlastního spoluhráče do zad, poskytlo jim to zvýšení rychlosti, něco, co využili k jejich výhodě.
"Během vývoje tohoto projektu bylo úžasné vidět vznik některých těchto chování na vysoké úrovni, " říká výzkumník DeepMind a hlavní autor Max Jaderberg Gentovi. "To jsou věci, se kterými se můžeme chovat jako s lidskými hráči."
Jedním z hlavních důvodů, proč byli roboti lepší než lidští hráči, je to, že byli rychlí a přesní střelci, což je v tahu rychlejší než jejich lidské soupeře. Ale to nebyl jediný faktor jejich úspěchu. Podle blogu, když vědci zabudovali o čtvrt sekundy zpožděnou reakční dobu na robo-střelce, nejlepší lidé je mohli stále porazit pouze o 21 procent času.
Od této počáteční studie byly FTW a jeho potomci uvolněni na bitevním poli Quake III Arena a ukázali, že dokážou ovládnout ještě složitější svět s více možnostmi a nuancí. Vytvořili také bota, který vyniká v ultra-komplexní vesmírné hře Starcraft II.
Výzkum však není jen o tom, jak vylepšit algoritmy videoher. Poznatky o týmové práci by nakonec mohly pomoci umělé inteligenci pracovat ve flotilách aut s vlastním pohonem nebo se možná někdy stát robotickými asistenty, kteří pomáhají předvídat potřeby chirurgů, uvádí Science 's Gent.
Ne každý si však myslí, že arkádové hvězdy představují skutečnou týmovou práci. Výzkumník AI Mark Riedl z Gruzie Tech říká New York Times, že roboti jsou ve hře tak dobří, protože každý z nich důkladně rozumí strategiím. Není to však nutně spolupráce, protože týmům AI chybí jeden zásadní prvek lidské týmové práce: komunikace a úmyslná spolupráce.
A samozřejmě jim také chybí další charakteristický znak kooperativního zážitku z videoher: trash mluvit s druhým týmem.
