Risikomatricer til IT-risikovurderinger – Den mest anvendte metode, der ikke virker

Undgå at volde skade. Det er en del af det klassiske Hippokratiske lægeløfte. Det burde også være en del af risikostyringsspecialistens løfte. Ikke desto mindre er anvendelsen af risikostyringsmetoder, som gør mere skade end gavn, blevet meget udbredte. Vi ser heldigvis en stigende tilslutning til kvantitative metoder med evidens for deres effekt, men der er en lang vej, før disse modeller bliver standard.

Langt de fleste virksomheder anvender i dag simple todimensionale opgørelser af risiko med verbale skalaer og ved hjælp af rød-gul-grøn kommunikation. Metoderne som også er kendt som kvalitative metoder har vundet deres udbredelse både gennem myndigheder og standardiseringsorganisationer, ligesom de anvendes af mange ledelseskonsulenter.

Disse metoder bruger “grøn-gul-rød”- eller “høj-medium-lav”-vurderingsskalaer for både sandsynlighed og konsekvens, hvorefter risici vises på et todimensionelt kort (kaldet risikomatricer eller et ”heat-map”). Nogle gange bruges en punktskala (f.eks. 1-3 eller 1-5) til at vurdere sandsynlighed og konsekvens, hvorefter de to værdier kan multipliceres sammen for at få en “risikoscore”.

Vi vil i dette indlæg kort behandle nogle af grundene til, at disse metoder er analyseplacebo, og i sig selv kanintroducere risiko. Derved vil vi argumentere for, hvorfor man bør søge i retning af IT-risikostyring med anvendelse af metoder som har været anvendt siden 1950’erne til alt af betydning indenfor bygning af broer og højhuse, flyindustri, finansielle instrumenter etc.

Vi vil se på tre problemer med risikomatricer og verbale skalaer: 

1. Range compression
2. Menneskelige og psykologiske problemer
3. Illusionen om uafhængighed

Range Compression

Det først problem stammer fra det forhold, at mange scoringsmetoder presser et stort udfaldsrum ned i noglefastlagte trin (typisk 3 eller 5 trin). 

Lad os tage et eksempel:

DTU har udgivet artiklen “Concept of Risk Quantification and Methods used in Project Management”. Artiklenindeholder referencer til blandt andet PMBOK, ISO31000 og PRINCE2 og giver et eksempel på enrisikomatrice, som ser således ud.

Her skal vi enkeltvis se på de tre celler, som vi har markeret med 1, 2 og 3, forudsat et projektbudget på 1 mio. kroner.:

1. Moderat risiko, Grøn: Cellen dækker over et potentielt tab mellem 1.000 kr. – 50.000 kr. (10% X 1% af budget til 50% x 10% af budget)
2. Høj risiko, Gul: Cellen dækker over et potentielt tab mellem 12.100 kr. – 150.000 kr. (10% x 11% af budget – 50% x 30% af budget)
3. Ekstrem risiko, Rød: Cellen dækker over et potentielt tab mellem 31.000 kr. – 250.000 kr. (10% x 31% afbudget – 50% x 50% af budget)

Hvis vi tager et tænkt tab på 40.000 kr., så ville det kunne indplaceres i alle tre celler og dermed blive både rød, gul og grøn. Du vælger selv!

Angreb fra eksterne ondsindede (cyberangreb) er af de samme grunde meget svære at indplacere i en skala. Historiske hændelser viser, at de kan være meget billige (hvis vi taler om en ”snitter”, hvor en meget lille del af infrastrukturen bliver berørt) eller ekstremt dyre (hvis der er tale om et NotPetya-lignende angreb, som lægger hele virksomhedens digitale platform ned i månedsvis). Hvordan vil man repræsentere dette meget store udfaldsrum i en matrice?

Det er tydeligt, at modellen ikke har tilstrækkelig opløsning til at illustrere virkeligheden. Modellen er alt for pixeleret, og som det er blevet sagt: ”skrald gange skrald er kvadratet på skrald”.

Menneskelige og psykologiske problemer ved anvendelse af skalaer

Lad os nu berøre to områder, der knytter sig til den menneskelige hjerne i forbindelse med anvendelsen af disse modeller: illusionen om ensartede intervaller og tvetydighed samt individuel fortolkning. 

Illusionen om ensartede intervaller: Når man anvender en skala som f.eks. 1-5, er der intuitivt en forestilling om, at betydningen bag skalaens enkelte trin svarer til betydningen af tallene. 

Et eksempel er, hvis sikkerheden i et IT-system scores fra 1-5. Her vil vi mene, at et system, som scorer 2, er halvt så sikkert, som et system, der scorer 4. Et system, der scorer 5, er 5 gange så sikker som et system, der scorer 1. Det er en fair forudsætning at læse disse metoder med, men virkeligheden er ofte en anden. Vurderer man skalaerne ud fra en mere målebaseret tilgang opdager man, at denne regelmæssighed ikke er tilfældet. Vi finder f.eks. at et IT-system, der scorer 2 ikke får halvt så mange tabshændelser som et system, der scorer 1. Virkeligheden rummer en kompleksitet, der ikke lader sig forsimple på den måde.

Tvetydighed og individuelle fortolkninger: I en undersøgelse spurgte man 23 NATO-officerer til en række udsagn om sandsynlighed. Her fandt man ikke overraskende store udsving i, hvordan de enkelte udsagn fortolkes. Nedenstående figur viser den store spredning. Se f.eks. udsagnet “Probably”. Her svinger fortolkningen fra en sandsynlighed fra 25% til 90%.  

Vi faldt over en skabelon til risikovurderinger fra Digitaliseringsstyrelsen med en 5×5-opbygning. Her er et udsnit af vejledningen:

Det er et godt eksempel på problemet med tvetydighed og individuel fortolkning. Vi mener ikke, at disse skalaer giver nogen baggrund for at vurdere forskellen på f.eks. en 1’er og 2’er. Hvis nogen er i stand til at definere forskellen på ”Meget lille” og ”Lille”, så ring. Vi er ikke i stand til det.

Illusionen om uafhængighed

Endelig er der spørgsmålet om sammenhænge mellem forskellige risici. I arbejdet med de enkelte risici glemmes ofte deres indbyrdes afhængighed. To risici, som hver vurderes medium-konsekvens, medium-sandsynlighed, kan have en højere samlet risiko, hvis de indtræffer samtidigt.  

Næste gang du ser en risikomatrice med en række indplacerede risici, så prøv at stille spørgsmålet: “Er der nogle af de individuelle risici, som er afhængige? Hvis de er, hvordan er dette så repræsenteret?” Lyt til tavsheden, og drag dine egne konklusioner. 

Opsummering

Problemet med risikomatricen er, at den føles videnskabelig. Den lover en hurtig, enkel løsning på et kompliceret problem uden at optage for meget tid og ressourcer med hårde beregninger.

Før havde du ingen idé om risici, nu har du lagt dem i pæne små kasser og givet dem solide karakterer. Du “forstår og styrer dine risici”, men det er en illusion. Ikke alene er der intet bevis for, at risikomatricer virker. Der er faktisk beviser for det modsatte. Ovenstående argumenter bør være tilstrækkelige til at slå det fast. 

At bruge matricen aktivt og træffe beslutninger med dette værktøj absorberer tid, penge og kræfter til ingen fordel overhovedet. Vi vil gå så vidt at påstå, at man ikke bør anvende dem til noget af betydning. 

IT er i dag af betydning og bør derfor anvende metoder til IT-risikostyring, som er baseret på tilstrækkelig evidens – metoder, som har været anvendt siden 50’erne til bygning af broer og højhuse, flyindustri, finansielle instrumenter etc.  

Når man kritiserer noget, skal man selvfølgelig anvise noget bedre. Det har vi tænkt os at gøre i vores arbejde og ved hjælp af en række kommende artikler.

Så, stay tuned.