Kunsten at kunne afgive et 90% konfidensinterval ved hjælp af dekomponering og kalibrering

Skrevet af: Bo Thygesen
06.07.2022

Når man udtaler sig om fremtidige hændelser, er det i sagens natur behæftet med usikkerhed. En risikovurdering forsøger at forstå fremtidige tabshændelser, og er derfor også behæftet med usikkerhed. Jo mindre historik eller målinger jo større usikkerheden.

Hvordan kan man forudsige konsekvensen af fremtidige hændelser, når de er behæftet med stor usikkerhed? I denne artikel vil vi se på det at afgive intervaller ved hjælp af dekomponering og kalibrering.

Intervaller

Et interval udtrykkes som en minimumsværdi, en maksimumsværdi og en værdi for Most Likely (MIN-MAX-ML). I resten af artiklen behandler vi kun simple intervaller med en MIN og MAX-værdi.

Vi bruger intervaller hver dag. Når du bliver spurgt, hvornår du er hjemme fra arbejde, siger du måske mellem 17:00 og 17:30. Du har afgivet et interval, som tager højde for den usikkerhed, du har om tidspunktet for din hjemkomst. Hvis din usikkerhed var større, vil du skulle afgive et bredere interval. Det kan være, at du skal på en jordomrejse i din sejlbåd de næste 2 år. Dine venner spørger dig, hvornår du er hjemme. Du siger: ”Jeg er hjemme mellem den 1. og 31. december 2025”. Større usikkerhed, et bredere interval.

At kunne afgive intervaller, som tager tilstrækkeligt højde for usikkerhed, er helt afgørende for en risikovurdering. Det er en teknik, som alle, der beskæftiger sig med risikovurderinger, må lære og mestre. Vi ønsker respondenter med det, vi kalder et højt kalibreringsniveau (en god evne til at afgive intervaller, der tager højde for deres usikkerhed). Hvis vi kan få eksperter med en dyb indsigt i et område, tidligere hændelser og evt. sårbarheder, til at afgive intervaller, som tager højde for usikkerheden, er det værdifuldt. Vi har bevæget os i retning af forecasting. Og forecasting er det, vi drømmer om. Tænk, hvis vi bedre forstod fremtiden, og det som kan ramme os.

Et begreb, du skal kende i den forbindelse, er et ”90% konfidensinterval (90% CI)”. Det er et interval, hvor du er 90% sikker på, at det rigtige svar falder ind i dit interval. Lad os tage et eksempel her: Du ser mig stå oprejst ved siden af et køkkenbord og skal nu afgive et 90% konfidens interval for min højde i cm. Du tænker dig lidt om og afgiver intervallet 180-200 cm. Du vil være usikker, men ikke mere end, at du kan afgive dette smalle interval. Det er i øvrigt et ret godt interval – jeg er 188 cm.

For at vurdere, om man har afgivet et godt 90% CI, kan man spørge sig selv, om man er villig til at spille på sit interval. Hvis du havde et lykkehjul med 9 røde og 1 sort felt, skulle det være underordnet, om du spillede på rød eller dit 90% CI.

En respondent er et måleinstrument, der skal kalibreres inden brug

At afgive gode 90% konfidensintervaller på områder behæftet med usikkerhed er noget, man skal øve sig på. Vi lider typisk af en overdreven selvtillid, eller et ønske om at ramme svaret præcist, når vi bliver spurgt til ting behæftet med usikkerhed. Man ser derfor, at vi afgiver for smalle intervaller, som ikke svarer til den reelle usikkerhed, vi har.

Når man bliver bevidst om denne indbyggede fejl, må man kompensere for den. Hvis jeg nu spørger dig, hvor højt verdens højeste bjerg Mount Everest er. Det kan være, at du er alpinist og har stået der, men det kan også være, at du aldrig har hørt om Everest. Alpinisten er i stand til at afgive et meget smalt interval (8.850-9.000 m), den anden må kompensere for sin store usikkerhed ved hjælp af et meget bredt interval (5.000 – 10.000 m).

Når vi i ACI arbejder med indhentelse af estimater, træner vi altid vores respondenter i den disciplin. Hvis du har lyst til at se, om du er kalibreret, kan du prøve vores øvelse på aci.dk/kalibrering. Forbered dig på et ret nedslående resultat første gang, men hurtige forbedringer ved at tage testen 2-3 gange.

Dekomponering

Hvis jeg spørger dig: ”Hvor mange kopper kaffe bliver der drukket i Danmark om dagen?” kan du vælge at kigge op i loftet, og derefter komme med et skud fra hoften. Det gør de fleste, men den slags estimater er ofte meget langt fra den sande værdi.

En bedre fremgangsmåde er at dekomponere. Man tager det store spørgsmål og opdeler det i nogle mindre spørgsmål, som hver for sig har en lavere usikkerhed.

Du tænker:

  1. Hvor mange danskere er vi? – 5,8 mio.
  2. Hvor mange af danskerne drikker kaffe? – mellem 50% og 80%
  3. Hvor mange kopper drikker en kaffedrikker dagligt? – mellem 2-6 kopper

Med denne dekomponering er vi i stand til at afgive et interval, der kan bruges ved blot at gange min og max værdierne sammen.

MIN – 5,8 mio. x 50% x 2 = 5,8 mio. kopper

MAX – 5,8 mio. x 80% x 6 = 27,8 mio. kopper

Du vil måske indvende, at dette er et meget bredt interval. Ja, men det er et interval, der svarer til den usikkerhed, jeg havde på de 3 dekomponerede spørgsmål. Havde jeg kendt til statistik på spørgsmålene 2 og 3, kan det være, at jeg have været i stand til at indsnævre mit interval, men det gjorde jeg ikke.

Ifølge Mokkaland drikker danskerne i øvrigt 22 mio. kopper kaffe dagligt.

Anvendelsen af dekomponering og intervaller i en IT-risikovurdering

Lad os nu tage et eksempel, fra den verden vi færdes i. Du ønsker at forstå, hvad konsekvensen (det forventede tab kan være) for følgende IT-scenarie:

Hændelse, hvor ekstern ondsindet aktør (cyberangreb) angriber CRM-system, hvilket medfører, at fortroligheden til data i systemet mistes.

Du indkalder et par eksperter fra virksomheden. De kender til sammen både historiske hændelser, sårbarheder og anvendelsen af CRM-systemet. Efter at have kalibreret eksperterne beder du dem fremkomme med intervaller for 5 tabsområder (produktivitet, håndtering, erstatning, bøder og kundeflugt). De fremkommer med følgende dekomponering og 90% konfidensintervaller.

TabskategoriMinimumMaksimumInterval
Produktivtet5 timer for et team på 10 personer16 timer for et team på 10 personer20.000-64.000 kr.
Håndtering3 timer for et team på 2 personer50 timer for et team på 10 personer2.400-200.000 kr.
Erstatning overfor 3. part0 kr.50.000 kr.0-50.000 kr.
Bøder0 kr.500.000 kr.0-500.000 kr.
Kundeflugt0 kunder20 kunder0-200.000 kr.
TOTAL22.400-1.014.000 kr.

I ovenstående eksempel anvendes der en intern faktureringspris på 400 kr. og en gennemsnitlig indtægt per kunde på 10.000 kr.

I eksemplet er vi kommet frem til, at dette scenarie kan koste mellem 20.000 og 1 mio. kr. Selvom intervallet er bredt, siger det en hel del. Vi forstår nu, at hændelsen sandsynligvis (i 90% af tilfældene) ikke vil koste mere end 1 mio. kr. Det er god viden, hvis du f.eks. skal forhandle en cyberforsikring for denne hændelse, og hvor du tilbydes et produkt med en selvrisiko på 1,5 mio. kr.

Opsummering

  • Et interval indeholder en Minimum (MIN) og en Maksimum (MAX) værdi.
  • Et 90% konfidensinterval er et interval, hvor man er 90% sikker på, at sandheden ligger inden for det afgivne interval.
  • Dekomponering er en teknik, hvor man erstatter et spørgsmål med stor usikkerhed i en række mindre spørgsmål med mindre usikkerhed.
  • En god risikovurdering tager udgangspunkt i estimater fra eksperter, som har lært at dekomponere og derefter at afgive 90% konfidensintervaller. Det er noget, man kan øve sig på, og det skal man.

Disse teknikker er vigtige i arbejdet med kvantitative IT-risikovurderinger. Der skal imidlertid mere til at udføre en god kvantitativ risikovurdering. Vi vil løbende skrive om dette på disse sider.

Så, Stay Tuned.

Fortsæt læsningen her

Risikoappetit – hvorfor og hvordan?

Risikoappetit – hvorfor og hvordan?

En dygtig offshore ingeniør som jeg samarbejdede med, gav mig et meget konkret eksempel på anvendelse af risikoappetit. Højden på en boreplatform sættes efter lovgivning og standarder men også efter...

Hvordan man skriver et godt risikoscenarie?

Hvordan man skriver et godt risikoscenarie?

Hvis du er IT-ekspert og bliver bedt om at estimere har du måske oplevet frustrationen ved at skulle estimere på baggrund af dårligt formulerede scenarier. Hvis du er risk manager og har skullet...