Kunsten at kunne afgive et 90% konfidensinterval ved hjælp af dekomponering og kalibrering

Skrevet af Frederik Thygesen
06.07.2022

Når man udtaler sig om fremtidige hændelser, er det i sagens natur behæftet med usikkerhed. En risikovurdering forsøger at forstå fremtidige tabshændelser, og er derfor også behæftet med usikkerhed. Jo mindre historik eller færre målinger jo større usikkerheden.

Hvordan kan man forudsige konsekvensen af fremtidige hændelser, når de er behæftet med stor usikkerhed? I denne artikel vil vi se på det at afgive intervaller ved hjælp af dekomponering og kalibrering.

Intervaller

Et interval udtrykkes som en minimumsværdi, en maksimumsværdi og en værdi for Most Likely (MIN-MAX-ML). I resten af artiklen behandler vi kun simple intervaller med en MIN og MAX-værdi.

Vi bruger intervaller hver dag. Når du bliver spurgt, hvornår du er hjemme fra arbejde, siger du måske mellem 17:00 og 17:30. Du har afgivet et interval, som tager højde for den usikkerhed, du har om tidspunktet for din hjemkomst. Hvis din usikkerhed var større, vil du gøre dit interval bredere. Det kan være, at du skal på en jordomrejse i din sejlbåd de næste 2 år. Dine venner spørger dig, hvornår du er hjemme. Du siger: ”Jeg er hjemme mellem den 1. og 31. december 2025”. Større usikkerhed, bredere interval.

At kunne afgive intervaller, som tager tilstrækkeligt højde for usikkerhed, er helt afgørende for en risikovurdering. Det er en teknik, som alle, der beskæftiger sig med risikovurderinger, må lære og mestre. Vi ønsker respondenter med det, vi kalder et højt kalibreringsniveau. Altså, en god evne til at afgive intervaller, der tager højde for deres usikkerhed. Hvis vi kan få eksperter med en dyb indsigt i et område, tidligere hændelser og evt. sårbarheder til at afgive intervaller, som tager højde for usikkerheden, er det værdifuldt. Vi har bevæget os i retning af forecasting. Og forecasting er det, vi drømmer om. Tænk, hvis vi bedre forstod fremtiden og det, som kan ramme os.

Et begreb, du skal kende i den forbindelse, er et ”90%-konfidensinterval (90% CI)”. Det er et interval, hvor du er 90% sikker på, at det rigtige svar falder indenfor dit interval. Lad os tage et eksempel: Du ser mig stå oprejst ved siden af et køkkenbord og skal nu afgive et 90% konfidensinterval for min højde i cm. Du tænker dig lidt om og afgiver intervallet 180-200 cm. Du vil være usikker, men ikke mere end, at du kan afgive dette smalle interval. Det er i øvrigt et ret godt interval – jeg er 188 cm.

For at vurdere, om man har afgivet et godt 90% CI, kan man spørge sig selv, om man er villig til at spille på sit interval. Hvis du havde et lykkehjul med 9 røde og 1 sort felt, skulle det være underordnet, om du spillede på rød eller dit 90% CI.

En respondent er et måleinstrument, der skal kalibreres inden brug

At kunne afgive gode 90%-konfidensintervaller på områder behæftet med usikkerhed skal man øve sig på. Vi lider typisk af en overdreven selvtillid eller et ønske om at ramme svaret præcist, når vi bliver spurgt til ting behæftet med usikkerhed. Vi kommer til at afgive for smalle intervaller, som ikke svarer til den reelle usikkerhed, vi har.

Når man bliver bevidst om denne indbyggede fejl, må man kompensere for den. Hvad nu hvis jeg spørger dig, hvor højt er Mount Everest? Det kan være, at du er alpinist og har stået der, men det kan også være, at du aldrig har hørt om Everest. Alpinisten er i stand til at afgive et meget smalt interval (8.850-9.000 m), den anden må kompensere for sin store usikkerhed ved hjælp af et meget bredt interval (5.000 – 10.000 m).

Når vi i ACI arbejder med indhentelse af estimater, træner vi altid vores respondenter i den disciplin. Hvis du har lyst til at se, om du er kalibreret, kan du prøve vores kalibreringsøvelser på aci.dk/kalibrering. Forbered dig på et ret nedslående resultat første gang, men hurtige forbedringer efter 2-3 gange.

Dekomponering

Hvis jeg spørger dig: ”hvor mange kopper kaffe bliver der drukket i Danmark om dagen?”, kan du vælge at kigge op i loftet og derefter komme med et skud fra hoften. Det gør de fleste, men den slags estimater er ofte meget langt fra det sande antal.

En bedre fremgangsmåde er at dekomponere. Man tager det store spørgsmål og opdeler det i nogle mindre spørgsmål, som hver for sig har en lavere usikkerhed.

Du tænker:

  1. Hvor mange danskere er vi? – 5,8 mio.
  2. Hvor mange af danskerne drikker kaffe? – mellem 50% og 80%
  3. Hvor mange kopper drikker en kaffedrikker dagligt? – mellem 2-6 kopper

Med denne dekomponering er vi i stand til at afgive et interval, der kan bruges ved blot at gange min. og max. værdierne sammen.

MIN – 5,8 mio. x 50% x 2 = 5,8 mio. kopper

MAX – 5,8 mio. x 80% x 6 = 27,8 mio. kopper

Du vil måske indvende, at dette er et meget bredt interval. Ja, men det er et interval, der svarer til den usikkerhed, jeg havde på de 3 dekomponerede spørgsmål. Havde jeg kendt til statistik på spørgsmålene 2 og 3, kan det være, at jeg have været i stand til at indsnævre mit interval, men det gjorde jeg ikke.

Ifølge Mokkaland drikker danskerne 22 mio. kopper kaffe dagligt.

Anvendelsen af dekomponering og intervaller i en IT-risikovurdering

Lad os nu tage et eksempel, fra den verden du og jeg færdes i. Du ønsker at forstå, hvad konsekvensen (det forventede tab kan være) for følgende IT-scenarie:

Hændelse, hvor ekstern ondsindet aktør (cyberangreb) angriber CRM-system, hvilket medfører, at fortroligheden til data i systemet mistes.

Du indkalder et par eksperter fra virksomheden. De kender til sammen både historiske hændelser, sårbarheder og anvendelsen af CRM-systemet. Efter at have kalibreret eksperterne beder du dem fremkomme med intervaller for 5 tabsområder (produktivitet, håndtering, erstatning, bøder og kundeflugt). De fremkommer med følgende dekomponering og 90%-konfidensintervaller.

TabskategoriMinimumMaksimumInterval
Produktivtet5 timer for et team på 10 personer16 timer for et team på 10 personer20.000-64.000 kr.
Håndtering3 timer for et team på 2 personer50 timer for et team på 10 personer2.400-200.000 kr.
Erstatning overfor 3. part0 kr.50.000 kr.0-50.000 kr.
Bøder0 kr.500.000 kr.0-500.000 kr.
Kundeflugt0 kunder20 kunder0-200.000 kr.
TOTAL22.400-1.014.000 kr.

I ovenstående eksempel anvendes der en intern faktureringspris på 400 kr. og en gennemsnitlig indtægt per kunde på 10.000 kr.

I eksemplet er vi kommet frem til, at dette scenarie kan koste mellem 20.000 og 1 mio. kr. Selvom intervallet er bredt, siger det en hel del. Vi forstår nu, at hændelsen sandsynligvis (i 90% af tilfældene) ikke vil koste mere end 1 mio. kr. Det er god viden, hvis du f.eks. skal forhandle en cyberforsikring for denne hændelse, og hvor du tilbydes et produkt med en selvrisiko på 1,5 mio. kr.

Opsummering

  • Et interval indeholder en minimum (MIN) og en maksimum (MAX) værdi. 
  • Et 90%-konfidensinterval er et interval, hvor man er 90% sikker på, at sandheden ligger inden for det afgivne interval. 
  • Dekomponering er en teknik, hvor man erstatter et spørgsmål med stor usikkerhed i en række mindre spørgsmål med mindre usikkerhed.
  • En god risikovurdering tager udgangspunkt i estimater fra eksperter, som har lært at dekomponere og derefter at afgive 90% konfidensintervaller. Det er noget, man kan øve sig på, og det skal man.

Disse teknikker er vigtige i arbejdet med kvantitative IT-risikovurderinger. Der skal imidlertid mere til at udføre en god kvantitativ risikovurdering. Vi vil løbende skrive om dette på disse sider.

Så, stay tuned.

Fortsæt læsningen her

ISO 27005 Is Wrong About Quantitative Risk

ISO 27005 Is Wrong About Quantitative Risk

The International Standards Organization recently published an updated version of their guidance for information security risk management, but they have missed the mark entirely on quantitative...