https://frosthead.com

Proč jsou experti téměř vždy špatní

Pokaždé, když dojde k národní katastrofě, gigantické události, střelbě, průlomu, opravdu všem zprávám, můžete se spolehnout na televizní zprávy a najít odborníka. Někteří z nich vědí hodně o tom, co se stalo, co se stane a proč. Ale pokud jde o mnoho odborníků, nemají vůbec ponětí, o čem mluví.

Blogger Eric Barker poukazuje na to, že predikty politických odborníků jsou pouze o něco lepší než náhodný odhad a jsou mnohem horší než statistický model. Ve skutečnosti takzvaní odborníci lépe předpovídali události mimo své vlastní pole. Barker poukazuje na studii z 80. let, kdy měl Philip Tetlock 284 politických „odborníků“, aby provedli asi sto předpovědí. Studie je shrnuta v knize Vše je zřejmé * Jakmile znáte odpověď:

Pro každou z těchto předpovědí Tetlock trval na tom, aby odborníci specifikovali, který ze dvou výstupů očekávali, a také přidělili pravděpodobnost své predikci. Učinil tak způsobem, že sebevědomé předpovědi skórovaly více bodů, když byly správné, ale také ztratily více bodů, když se mýly. S těmito předpovědi v ruce se pak posadil a čekal, až se události odehrají. O dvacet let později zveřejnil své výsledky a to, co shledal, bylo pozoruhodné: Ačkoli odborníci vedli o něco lépe než náhodně hádání, nevedli stejně dobře, jako dokonce jen minimálně sofistikovaný statistický model. A co je ještě překvapivější, experti udělali o něco lépe, když operovali mimo oblast své působnosti, než v rámci ní.

Další studie zjistila, že „odborníci“, kteří se snaží předpovídat výsledek případů Nejvyššího soudu, nebyli o moc lepší než počítač. Svět to viděl ve svém nedávném rozhodnutí o zdravotní péči a překvapil téměř každého „experta“ venku.

Ale to je politika. Jiná pole by měla být lepší, že? Ani náhodou. Technologie je stejná. Jiný vědec analyzoval přesnost předpovědí technologických trendů. Asi osmdesát procent z nich se mýlilo, bez ohledu na to, zda tyto předpovědi byly provedeny odborníky nebo ne.

V roce 2005 Tetlock napsal knihu o předpovědi odborníků nazvanou „Expertní politický úsudek: Jak dobrý je to? Jak to můžeme vědět? “Vysvětluje v něm, že nejenže odborníci se často mýlí, ale téměř nikdy na to nebyli povoláni. New Yorker vysvětluje:

Když se mýlí, jsou jen zřídka považováni za zodpovědné a také zřídka to připouštějí. Trvají na tom, že byli právě načasování nebo byli slepí kvůli nepravděpodobné události, nebo byli téměř správné, nebo špatné ze správných důvodů. Mají stejný repertoár sebe-ospravedlnění, jaký má každý, a nejsou náchylnější než kdokoli jiný k tomu, aby revidovali své přesvědčení o tom, jak svět funguje, nebo by měl fungovat, jen proto, že udělali chybu.

Tetlock poukazuje na to, že zatímco my jsme hrozní v předpovědích, odborníci spadají do dvou „kognitivních stylů“, když vytvářejí tyto předpovědi: lišky a ježci. The Huffington Post shrnuje:

Lišky vědí mnoho věcí, zatímco ježci vědí jednu velkou věc. Hluboké znalosti o jednom předmětu zužuje zaměření a zvyšuje důvěru, ale také rozmělňuje nesouhlasné pohledy, dokud již nejsou viditelné, čímž transformuje sběr dat na potvrzení zkreslení a morfuje sebeklamu na sebevědomí. Svět je chaotický, složitý a kontingentní místo s nesčetnými intervenujícími proměnnými a matoucími faktory, s nimiž jsou lišky pohodlné, ale ježci nejsou. Nízkými hodnotiteli v Tetlockově studii byli „myslitelé, kteří„ znají jednu velkou věc “, agresivně rozšiřují vysvětlující dosah této jedné velké věci do nových domén, projevují štětinovou netrpělivost u těch, kteří ji„ nedostanou “, a vyjadřují značnou důvěru, že jsou již velmi zdatní prediktoři. “Naopak, říká Tetlock, vysoce střelci byli„ myslitelé, kteří znají mnoho malých věcí (triky svého obchodu), jsou skeptičtí k velkým schématům, viz vysvětlení a predikci nikoli jako deduktivní cvičení, ale spíše jako cvičení v pružných “ ad hocery ', které vyžadují přilepení různých zdrojů informací a jsou poněkud rozdílné ve své vlastní předpovědi. “

Ale co technika 10 000 hodin? Opravdu jste strávili 10 000 hodin, abyste měli jen o něco lepší než náhodnou šanci předpovídat výsledek zvoleného pole? Pravděpodobně. Barker cituje další knihu, Talent je přeceňován: Co skutečně odděluje světové umělce od všech ostatních:

Rozsáhlý výzkum v celé řadě oborů ukazuje, že mnoho lidí se nejen nedokáže stát mimořádně dobrými v tom, co dělají, bez ohledu na to, kolik let to dělá, často se dokonce ani nezlepší, než když byli na začátku.

V terénu za polem, když došlo k centrálně důležitým dovednostem - burzovní makléři doporučující akcie, propouštěcí důstojníci předpovídající recidivu, vysokoškolští přijímací úředníci posuzující žadatele - lidé se spoustou zkušeností nebyli ve své práci lepší než ti, kteří měli velmi málo zkušeností.

Morální tady? Opravdu nemáme ponětí, co se stane, vůbec.

Více od Smithsonian.com

Jak vyhrát peníze předpovídání olympijských her

Italští vědci mohou čelit soudnímu procesu za nepředvídání zemětřesení v roce 2009
Proč jsou experti téměř vždy špatní