1

Hva kan forskningen og Ptil’s nye risikodefinisjon gi oss av ny innsikt?

Norges forskningsråd Petromaks 2 Improved risk assessment to better reflect the knowledge dimension and surprises

2013-2017

Risikoforståelse - Nøkkelen til bedre risikoanalyser og risikostyring

Agenda

• 9.00 - 9.15 Velkommen Terje Aven, UiS og Torleif Husebø, Ptil

• 9.15 - 10.00 Hva har forskningen kommet fram til av ny innsikt? En oversikt Terje Aven

• 10.00 - 10.30 Hvordan tenker Ptil? Hvilke erfaringer har Ptil gjort seg? Bjørnar Heide

• 10.30 – 10.50 Pause

• 10.50 - 11.30 Spørsmål og innlegg fra deltakere. Diskusjon

• 11.30-12.15 Lunsj

Agenda

• 12.15-13.30 Nye metoder for å håndtere usikkerhet og beskrive kunnskapsgrunnlaget i risikoanalyser

Førsteamanuensis Roger Flage, UiS

Dr.gradskandidat Christine L. Berner, UiS og DNV GL

• 13.30- 13.50 Pause

• 13.50 – 14.15 Adaptiv risikostyring i tråd med Ptil’s nye risikodefinisjonPost.doc Torbjørn Bjerga, UiS

• 14.15 - 15.00 Spørsmål og innlegg fra deltakere. Diskusjon

• 15.00 -15.30 Oppsummering og avslutning. Terje Aven og Torleif Husebø

Samarbeid

UiS/IRISPh.Ds

Forsker fra andre land

Partnere - Gassco

-Norsk Olje og Gass- ConocoPhillips

-Ptil

Andre eksperter, industri,

konsulenter

Norges forskningsrådPetromaks 2

Partners

PhDds

Terje Aven Roger Flage Eirik B. Abrahamsen Jan Erik Vinnem

Christine Berner Torbjørn Bjerga Henning Veland Øystein Amundrud Jahon Khorsandi Anders Jensen Kjartan Bjørnsen Ingrid Årstad

Malene Sandøy Bodil S. Krohn Torleif Husebø Lars Bjarne Røvang Vegard Tuft … DNV GL

Seth Guikema Enrico Zio Piero Baraldi Ortwin Renn Didier Dubois Sven Ove Hansson …

Publiseringer

Books

• Aven, T. (2014) Risk, surprises and black swans. Routledge, New York

• Knowledge in risk assessment. Aven and Zio (eds) Wiley 2017

Part I Fundamental ideas, principles and approaches

Chapter 1 Terje Aven and Roger Flage Risk assessment with broad uncertainty and knowledge characterisations: An illustrating case study

Chapter 2 Terje Aven and Marja YlönenThe enigma of knowledge in the risk field

Chapter 3 Roger Flage and Christine L. Berner Treatment and communication of uncertain assumptions in (semi-)quantitative risk assessments

Chapter 4 Ivan Damnjanovi and Terje Aven Critical slowing down framework for monitoring early warning signs of surprise and unforeseen events

Chapter 5 Terje AvenImproving the foundation and practice of uncertainty analysis: Strengthening the links to knowledge and risk

Chapter 6 Torbjørn Bjerga, Terje Aven and Roger Flage Completeness uncertainty: Conceptual clarification and treatment

Chapter 7 Terje Aven and Enrico Zio Quality of risk assessment: definition and verification

Chapter 8 Pietro Turati, Nicola Pedroni and Enrico Zio Knowledge-driven system simulation for scenario analysis in risk assessment

Knowledge in risk assessment: Aven and Zio (eds) Wiley 2017

Part II Risk assessment and decision making Chapter 9Shital Thekdi and Terje Aven A decision support method for prioritizing investments subject to uncertainties using strength of knowledge and target sensitivity analysis

Chapter 10 Sven Ove HanssonDecision-making under structural uncertainty

Part III Applications Chapter 11 Vegard L. Tuft, Beate R. Wagnild, Olga M. WiggeA practical approach to risk assessments from design to operation of offshore oil and gas installations

Chapter 12 Eirik Bjorheim Abrahamsen, Jon Tømmerås Selvik, Bjørnar Heide and Jan Erik VinnemA semi-quantitative approach for assessment of risk trends in the Norwegian oil and gas industry

Chapter 13 Nathan Siu and Kevin CoyneKNOWLEDGE ENGINEERING AT A RISK-INFORMED REGULATORY AGENCY: CHALLENGES AND SUGGESTIONS

Knowledge in risk assessment: Aven and Zio (eds) Wiley 2017

Artikler

• Tidsskriftsartikler: 40 +

• Konferanseartikler (ESREL): ca. 20

• Andre foredrag, for eksempel internasjonale konferanser (SRA): 30 +

Andre bidrag

• Glossary Society for Risk Analysis -www.sra.org/resouces - video What is Risk?

• Core subjects of Risk Analysis www.sra.org/resouces

• Videoer Norsk olje og Gass (Kjerag, sorte svaner, jobbsikkerhetsanalyse)

• Webinarerhttps://www.youtube.com/playlist?list=PLNFAW9iarHu_kP9n34CSPRoUM8h1hBojp

Vitenskapelig resultater Industri

Kompetansebygging (fagmiljø, studenter)

Prosjektets’ suksess-dimensjoner

Vitenskapelig resultater Industri

Kompetansebygging (fagmiljø, studenter)

Prosjektets’ suksess-dimensjoner

Publiseringer, PhDs, Masterkandidater

Vitenskapelig resultater Industri

Kompetansebygging (fagmiljø, studenter)

Prosjektets’ suksess-dimensjoner

Publiseringer, PhDs, Masterkandidater

MyndigheterPetroleumstilsynet

Anvendelse CP, Gassco, Konsulenter

Norsk olje og Gass

Parallelt prosjekt om ny risikoforståelse og sorte svaner

Bodil S. Krohn

Petromaksprosjekt

Norsk olje og gass prosjekt

Mest fokus på det teoretiske

Fokus på industrien

Petromaksprosjekt

Norsk olje og gass prosjekt

Mest fokus på det teoretiske

Fokus på industrien

Rapport, videoer - risikoforståelse, sorte svaner

https://www.norskoljeoggass.no/no/virksomheten/HMS-og-Drift/Erfaringsoverforing-og-laering/SORTE-SVANER--Et-utvidet-perspektiv-pa-risiko/

Holdt et stort antall foredrag i industrien

Har industrien implementert noen av forskningsresultatene

Ja og Nei

19

Hva har forskningen kommet fram til av ny innsikt?

Dagtid, vi er klar over steinen og dens trussel

Nattestid, vi vet ingenting om steinen

20172013

Prosjekt

20001990

Statoil NFR prosjekter risiko

Erkjennelse av at vi har visse problemer

Usikkerhet Kunnskap

20172013

Prosjekt

20001990

Statoil NFR prosjekter risiko

Erkjennelse av at vi har visse problemer

Usikkerhet Kunnskap

Samfunnsvitere, organisasjonsteoretikere, psykologer, …

Piper Alpha

Antall

omkomne

Problemene

• Uklart hva risiko er

• Uklart hva «usikkerhet» er ifm risikoanalyser

• Viktige aspekter av usikkerhet og risiko fanges ikke opp

• Risikoanalyseprosessen er veldig mekanisk

• Beslutningstakere misledes

Hva må gjøres?

1. Fundamentet for risikoanalyse og -styring må styrkes

2. Fagområdet risikoanalyse og –styring må styrkes

20172013

Prosjekt

20001990

Statoil NFR prosjekter risiko

Erkjennelse av at vi har visse problemer

Usikkerhet Kunnskap

Samfunnsvitere, organisasjonsteoretikere, psykologer, …

Usikkerhet

• Fremtiden, konsekvensene av en aktivitet

• Størrelser, parametre i modeller

Sannsynlighet

Usikker?

Sannsynlighet

Usikker?

p en andel

P(A|K) = 0.10 K: Kunnskap

Hva er kunnskap K ?

Black Swan

I. Outlier as it lies outside the realm of regular expectations, because nothing in the past can convincingly point to its possibility.

II. Extreme impact.III. In spite of its outlier status, human nature makes us concoct

explanations for its occurrence after the fact, making it explainable and predictable.

Professor Dennis Lindley

Taleb talks nonsense

No need to see beyond probability

Lindley eksempel

En sekvens av uavhengige forsøkmed en konstant ukjent sjanse p for suksess (hvite svane)

Lindley viser at en sort svane skaldukke opp er nesten sikkert hvis du betrakter et stort antall svaner, selvom sannsynligheten for at den nestesvanen skal være hvit er nesten 1

Eksempel

P(A | forutsetning ) < 0.0001

Problemer med tradisjonell fremgangsmåte

36

3Overraskelser skjer

1Forutsetninger kan skjule viktige aspekter av risiko

og usikkerhet

2Vi kan ha samme sannsynligheter,

men kunnskapen de bygger på kan være

sterk eller svak

Utfordringer

Risikotenkning som evner å fange opp kunnskap som skissert

- Hva er risiko?

- Hvordan beskrives risiko?

- Hvordan reflektere styrken på kunnskapen?

- Hvordan ta hensyn til mulige overraskelser og det utforutsette?

A newgeneration of

methods

Earlier

Contributions

One of these contributions, this Petromaks project: The main aim of the project is to develop concepts, principles, approaches and methods for the proper understanding and assessment of risk, in particular major accident risk, for the Norwegian petroleum activities, that gives due attention to the knowledge dimension and surprises (black swans).

… reflectknowledge, uncertainties, surprises, blackswans

Noen høydepunkter

1. What can happen (go wrong) ? 2. How likely is it that that will

happen? 3. If it does happen, what are the

consequences?

1. What can happen (go wrong) ? 2. If it does happen, what are the

consequences ? 3. How likely is it that that will happen

and give these consequences ?4. What is the knowledge supporting

the likelihood judgments? 5. How strong is this knowledge?

Earlier Now

Expressing Risk

Knowledge K

Data, Information, Argumentation, Testing, Modelling, …

ConsequencesC of the activity

UncertaintyU about C

Risk assessment and characterisation

Specifiedconsequences C’

Description or measure Q of

theuncertainties

Risk description and characterisation (C’,Q,K), with related metrics,

meeting the need of the decision situation

Real world Real world

Unforeseen(unanticipated) events

Surprising events

Unthinkable(unimaginable) events

Extreme consequences

a) Unknownunknowns

b) Unknownknowns

c) Known but not

believed to occur

because of low

judged probability

How to confront surprises and the

unforeseen?

Risk management approaches• Signals and warnings

• Sensitivity to operations (principle of collectivemindfulness linked to High Reliability Organizations)

• Adaptive risk management

• Robustness

• Resilience thinking

• Understand variation

• … Cautionary and precautionary principles

Sjekkliste (Sort svane rapport Norsk olje og gass)

1. Er det gitt en oversikt over de forutsetninger som er gjort? I forhold til system, data, modeller, ekspertvurderinger, m.m.

2. Er det foretatt en risikovurdering av avvik fra forutsetningene? (enkeltvis og ved å se på kombinasjoner av avvik fra flere forutsetninger samtidig)

3. Er det forsøkt å redusere risikobidragene fra de forutsetningene som har høyest avviksrisiko? 4. Er godheten av de modeller som er brukt vurdert? 5. Er modellavvikene (forskjell mellom riktig verdi og modellenes utfall) funnet å være akseptable? 6. Er styrken på kunnskapen som de fastsatte sannsynlighetene er basert på, vurdert? 7. Er denne styrken inkludert i risikobeskrivelsen? 8. Er det forsøkt å styrke kunnskapen der denne ikke er tilfredsstillende? 9. Er det gjort spesielle tiltak for å avdekke ukjente kjente (unknown knowns), altså for å tilegne seg

kunnskap om temaområder som den aktuelle analysegruppen ikke har, men som finnes hos andre?

10. Er det gjort spesielle tiltak for å avdekke eventuelle svakheter – hull - i den kunnskapen som analysegruppen har bygd sine analyser på?

11. Er det gjort spesielle tiltak for å vurdere holdbarheten av vurderinger der hendelser i praksis er vurdert å ikke inntreffe pga. neglisjerbar sannsynlighet?

12. Har det vært brukt personer og kompetanse som ikke tilhører analysegruppen for å avdekke slike forhold som omtalt ovenfor?

13. Dersom forventede verdier av en størrelse er angitt, er usikkerheten knyttet til denne størrelsen vurdert (for eksempel uttrykt ved et 90% usikkerhetsintervall for denne størrelsen) ?

Kunnskap

Begrunnede oppfatninger

Data Informasjon Argumentasjon Teorier

Testing Modellering

Vitenskapelig kunnskap: Den sterkeste kunnskapen produsert av vitenskapsområdet

Sven Ove Hansson

Activity, system

Real world

AStudies,

communication and management of the risk of this specific

activity

BGeneric risk practices

and research: How to conceptualise,

understand, assess, communicate and

manage risk

Experts in other fields

Competence

Risk analysisexperts

Insights into

risk, decision

support, good

decisions

What do they

give?

Risikofaget

Security Risk

Amunderud, Aven, Flage (2017) How the definition

of security risk can be made compatible with safety

definitions. Journal of Risk and Reliability.

Risk Black Swans Antifragility

Resilience

Confidence Humbleness

Historical data .. Uncertaintyavoidance

Aven, T. (2015) On the allegations that small risks are treated

out of proportion to their importance. Reliability Engineering

& System Safety, 140, 116-121. Open Access

Weight given to E

Take risk

Reduce the risks

and uncertainties

Cautionary-precautionary E[NPV], cost-benefit analyses ALARP

Balance

Development and protection

Risk acceptance criteria

E: Expected value

Risikovurderinger Beslutning

Verdier

Andre aspekter

Analysts Decision-makers

Present conditionalrisk given someknowledge K

What about risk aspects coveredby or concealedin K ?

Risk Collective mindfulnessCommon cause and

special cause variation

Aven, T. and Krohn, B.S. (2014) A new perspective on how to understand, assess and manage risk and the unforeseen. Reliability Engineering & System Safety, 121, 1-10. Open Access.

Risk - Risk perception

Aven, T. (2016) Risk assessment and risk management: review of recent advances on

their foundation. European Journal of Operational Research, 25: 1-13. Open access.

Invited paper.

61

Hva kan forskningen og Ptil’s nye risikodefinisjon gi oss av ny innsikt?

Norges forskningsråd Petromaks 2 Improved risk assessment to better reflect the knowledge dimension and surprises

2013-2017

Risikoforståelse - Nøkkelen til bedre risikoanalyser og risikostyring

Sjekkliste (Sort svane rapport Norsk olje og gass)

1. Er det gitt en oversikt over de forutsetninger som er gjort? I forhold til system, data, modeller, ekspertvurderinger, m.m.

2. Er det foretatt en risikovurdering av avvik fra forutsetningene? (enkeltvis og ved å se på kombinasjoner av avvik fra flere forutsetninger samtidig)

3. Er det forsøkt å redusere risikobidragene fra de forutsetningene som har høyest avviksrisiko? 4. Er godheten av de modeller som er brukt vurdert? 5. Er modellavvikene (forskjell mellom riktig verdi og modellenes utfall) funnet å være akseptable? 6. Er styrken på kunnskapen som de fastsatte sannsynlighetene er basert på, vurdert? 7. Er denne styrken inkludert i risikobeskrivelsen? 8. Er det forsøkt å styrke kunnskapen der denne ikke er tilfredsstillende? 9. Er det gjort spesielle tiltak for å avdekke ukjente kjente (unknown knowns), altså for å tilegne seg

kunnskap om temaområder som den aktuelle analysegruppen ikke har, men som finnes hos andre?

10. Er det gjort spesielle tiltak for å avdekke eventuelle svakheter – hull - i den kunnskapen som analysegruppen har bygd sine analyser på?

11. Er det gjort spesielle tiltak for å vurdere holdbarheten av vurderinger der hendelser i praksis er vurdert å ikke inntreffe pga. neglisjerbar sannsynlighet?

12. Har det vært brukt personer og kompetanse som ikke tilhører analysegruppen for å avdekke slike forhold som omtalt ovenfor?

13. Dersom forventede verdier av en størrelse er angitt, er usikkerheten knyttet til denne størrelsen vurdert (for eksempel uttrykt ved et 90% usikkerhetsintervall for denne størrelsen) ?

Hva så ?

• Trenger vi mer forskning knyttet til risiko, usikkerhet og kunnskap?

• Utfordringer?

Utfordringer

• Ulike typer kunnskap

• Evaluere Ptils endring

• Industrien gjør endringer i risikostyringen – hva blir konsekvensene, hvor ligger utfordringene?

• Økonomiske prinsipper, risikostyring og sikkerhetsarbeid

Reduseres ulykkesrisikoen av forskningen og Ptil’s endringer? Bedres sikkerheten ?

• Kost-nytte-analyser?

• Argumentenes kraft

• Misbrukes

Confidence Humbleness

Historical data .. Uncertaintyavoidance

Aven, T. (2015) On the allegations that small risks are treated

out of proportion to their importance. Reliability Engineering

& System Safety, 140, 116-121. Open Access

Risikovurderinger Beslutning

Verdier

Andre aspekter

Dagtid, vi er klar over steinen og dens trussel

Nattestid, vi vet ingenting om steinen

• P(alvorlig hendelse | Kunnskap) P

• Dagtid: liten P og relativt sterk K

• Nattestid: liten P og svakere K