Supre prediksjoner - hvorfor blir spådommer feil?

Supre prediksjoner - hvorfor blir spådommer feil?

Hva kjennetegner en god prognose, og hvordan kan du vite hvem du bør lytte til? Eksisterer det mennesker som produserer jevne og godt utformede prognoser, og kan du bli et av disse menneskene selv?

Vi blir daglig eksponert for prognoser. Gjennom media får vi spådommer om valgresultat, krig, boligpriser og sportsresultater. I næringslivet er det viktig å ha gode prognoser for råvarepriser, renter, valuta og andre kvantitative temaer. Ledelsen vil predikere fremtiden gjennom budsjetter, salgsprognoser og verdianslag på oppkjøp og ansettelser. Selv om det er bevist at den «gjennomsnittlige eksperten» ikke lager bedre prognoser enn aper med dartpiler (“Expert Political Judgment: How Good Is It? How Can We Know?” by Philip E. Tetlock (2005)) , blir man ofte overbevist av skråsikre autoriteter med god taleevne. Prognosene er ofte basert på intuisjon og påvirket av personlig fordommer, og om de gjøres vage nok, kan de heller ikke testes. Dermed vil man heller ikke kunne forbedre arbeidsprosessen systematisk.

Irakkrigen inspirerte omfattende forskningsarbeid om prognoser

The National Intelligence Council (NIC) utstedte i 2002 en offisiell bekreftelse på at Irak hadde kjemiske og biologiske våpen i tillegg til programmer for å utvikle andre masseødeleggelsesvåpen. Etter at de innså feilen de gjorde, med de katastrofale følgene det fikk, besluttet NIC å teste og forbedre alle deler av sin virksomhet. I den sammenheng avslørte de for verden hvor lite pålitelige prediksjoner NIC og dets ansatte gjorde, var, selv med all den dataen og ressursene de hadde tilgjengelig.

I 2011 startet NIC en prognosekonkurranse med mål om å utfordre det profesjonelle etterretningsmiljøet. Over en periode på fire år deltok over 25 000 prognosemakere. The Good Judgement Project deltok i konkurransen. Dette var et forskningsprosjekt, ledet av Philip Tetlock, som systematisk undersøkte om det eksisterer arbeidsprosesser og personlighetstrekk som gjør noen spesielt egnet til å gjøre gode prediksjoner.

Utvalgte individer produserer treffsikre prognoser

Resultatene er både spennende og oppløftende. Der kontrollgruppen scoret rundt 36% bedre enn tilfeldig gjetning (omtrent på samme nivå som ansatte i høyt presterende selskaper), er det noen som klarer å lage prognoser rundt 50% bedre enn tilfeldig gjetning. Og da disse individene ble samlet i team, økte presisjonen til 66% over tilfeldig gjetning, nesten dobbelt så bra som kontrollgruppen. Prognoser og spådommer kan aldri gjøres eksakt, men om en bedrift i snitt har 3 av 5 prognoser riktig, mot en konkurrent på 2 av 5, vil det kunne skape et viktig konkurransefortrinn over tid.

Gode prognoser er et resultat av arbeidsmetode og personlige holdninger

Så hvem er da disse menneskene, og hvordan skapes gode prognoser? Svaret ligger ikke i medfødte superevner, men derimot i en kombinasjon av arbeidsmetode og personlige holdninger. Disse karaktertrekkene kan læres. Forsøket viste at etter én time kursing av kontrollgruppen, økte treffsikkerheten med 14%. De beste prognosemakerne har en forsiktig tilnærming, og er svært forsiktige med å uttale seg skråsikkert. De er ydmyke, oppmerksomme på faglige og psykologiske begrensninger hos seg selv og andre, og anstrenger seg alltid for å unngå påvirkning fra personlige fordommer. Dette gjør at de oftere ser flere perspektiver og alltid tester sine oppfatninger grundig. De er svært analytiske og komfortable med tall, men det er lite korrelasjon mellom høy IQ og treffsikre prognoser.

Ta først et steg tilbake og se saken utenfor egen boble 

For å unngå personlig bias, er det viktig å starte med et eksternt syn på saken. Som et eksempel, har det i USA kun vært 1 av 8 tilfeller der det ikke har blitt byttet presidentparti etter åtte år med sammenhengende styring siden krigen. Dermed burde utgangspunktet vært 86% sannsynlighet for seier til Trump. Dette er et viktig første steg, og deretter kan man gå dypere inn i den spesifikke situasjonen for å justere prosenten basert på meningsmålinger, skandaler og diverse andre faktorer. Nate Silver er kjent for sine treffsikre prognoser. Han arbeider systematisk på denne måten, men måtte tåle mye hard kritikk av selvsikre ekspertkommentatorer for å gi Trump så mye som 28% sjanse til å vinne.

En prognose er irrelevant om den ikke kan testes 

For å lage gode prognoser er det viktig at de kan testes, og da må prognosene være presise. Prognosen må vare kvantiserte og ha tydelige tidsrammer. Det er viktig å unngå vage ord som «svært sannsynlig», men sette et tydelig prosenttall. Forsøkene viste at de som brukte hele prosentskalaen, økte presisjonen fremfor de som kun brukte 5- eller 10-talls oppløsning på skalaen. Gode prognoser kommer etter systematisk trening, men treningen er lite effektiv om man ikke konstant arbeider for å forbedre sin metode. I tillegg til at prognosene må skrives ned og scores, må også prosessen loggføres og gjennomgås. Som David Kahneman (“Superforecasting: The art and science of prediction”, by Philip E. Tetlock and Dan Gardner (Crown, 2015)) viste i sine forsøk, har mennesker en sterk evne til å endre hukommelsen sin i lys av etterpåklokskap, og et gjennomsnittsmenneske vil forbedre sin prediksjon med ca. 40% i etterkant. Dette ser vi svært tydelig i både USA og Storbritannia etter Trump og Brexit, der de fleste ekspertkommentatorer spådde tilnærmet 0% sjanse for Trump og Brexit. Om du spør dem nå, bør du forvente en svært selvsikker forklaring på hvorfor resultatet var en selvfølge, og om du spurte hvilken prosent de ga Trump før valget, ville de sannsynligvis påstått at det var rundt 40-50% sannsynlighet for Trump.

 

Om bloggeren:
Wilhelm følger Acandos treårige traineeprogram for å bli en av Norges fremste konsulenter med mindre enn 5 års erfaring. Han har en bachelorgrad i fysikk fra Universitetet i Oslo og en mastergrad i mangepartikkel kvantemekanikk. Han interesserer seg for ledelse, strategi og digital disrupsjon. På fritiden spiller han bandy for Frigg.

comments powered by Disqus