Assessing the validity and psychometric properties of Nuclear Safety Culture Self-Assessment Survey
Vahteristo, Elisa (2022-03-10)
Assessing the validity and psychometric properties of Nuclear Safety Culture Self-Assessment Survey
(10.03.2022)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
suljettu
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2022041128322
https://urn.fi/URN:NBN:fi-fe2022041128322
Tiivistelmä
Safety culture refers to a quality of an organization reflecting shared attitudes, values, perceptions, competencies, and behaviour that guide actions towards safety and prevention of risks and accidents. The term safety culture is widely used in organizational psychology when studying organizations in safety-critical industries such as aviation, nuclear energy, chemical and oil refining industries. A common feature of these organizations is a high risk for serious accidents. Constantly monitoring the state of safety culture of an organization is one way of safeguarding against accidents. Therefore, it is important to use valid assessment methods when assessing safety culture.
This study assesses the psychometric properties and factor structure of two versions of Nuclear Safety Culture Self-Assessment Survey (SCSA Survey) to assess validity of the questionnaire. The survey is based on Fennovoima’s safety culture model consisting of four dimensions; commitment, awareness, continuous improvement, and transparency.
The surveys were conducted in 2019 (Study 1, n=224, response rate 58%) and 2021 (Study 2, n=251, response rate 57%) among Fennovoima employees and internal consultants. Data analysis of study 1 consisted of explorative factor analysis comparing a single-factor model and a four-factor model for both Fennovoima employees and the whole sample including internal consultants. SCSA Survey is revised based on conclusions and suggestions of this study as well as other considerations of the organization. Data analysis of study 2 consisted of explorative factor analysis comparing all factor models based on data. Study also explored the internal consistency of a five-factor model which explained 56% of total variance and reflected a meaningful factor structure in the light of earlier safety culture models in scientific literature.
Empirical data did not support the expected four-factor structure hypothesized by the measurement model in either of the studies. Study I detected a factor resembling the Transparency dimension, but Study II could not replicate that result. In Study II, most of the items of the Continuous improvement dimension loaded to same factor. Other hypothesized dimensions did not form a unified factor structure. Explorative factor analysis gave preliminary support to an alternative five-factor model, which also showed high internal consistency.
SCSA Survey cannot yet be considered a valid assessment method for assessing safety culture of a given organization. Validity can be improved by developing the content of items as well as balancing the number of items representing each dimension. Using a triangulation of assessment methods such as audits, qualitative focus groups, and behavioural observations remains focal when assessing safety culture of an organization. This study provided information for further development of the survey questionnaire as part of a broader multi-method assessment. Turvallisuuskulttuuri viittaa organisaation ominaisuuteen, joka heijastaa jaettuja asenteita, arvoja, käsityksiä, taitoja ja käyttäytymistä, joka ohjaa toimimaan turvallisuutta edistävällä sekä riskejä ja onnettomuuksia välttävällä tavalla. Turvallisuuskulttuuri on laajasti käytetty termi organisaatiopsykologiassa tutkittaessa organisaatioita turvallisuuskriittisillä aloilla kuten ilmailu, ydinenergia, kemiantekniikka ja öljynjalostus. Näiden organisaatioiden yhteisenä piirteenä on korkea riski vakaviin onnettomuuksiin. Organisaation turvallisuuskulttuurin tilan jatkuva valvominen on yksi tapa varautua välttymään onnettomuuksilta. Siksi on tärkeä käyttää valideja menetelmiä turvallisuuskulttuurin arvioinnissa.
Tämä tutkimus arvioi yhden turvallisuuskulttuurin itsearviointikyselyn (Nuclear Safety Culture Self-Assessment Survey, SCSA-kysely) kahden eri version psykometrisiä ominaisuuksia kyselyn validiteetin arvioimiseksi. Tämä kysely perustuu Fennovoiman turvallisuuskulttuurimalliin, joka koostuu neljästä ulottuvuudesta; Sitoutuminen, Tietoisuus, Jatkuva parantaminen ja Avoimuus.
Kyselyt toteutettiin vuosina 2019 (Tutkimus 1, n=224, vastausprosentti 58 %) ja 2021 (Tutkimus 2, n=251, vastausprosentti 57 %) Fennovoiman henkilöstölle ja sisäisille konsulteille. Tutkimuksen 1 tilastollinen analyysi koostui eksploratiivisesta faktorianalyysistä, jossa verrattiin yhden ja neljän faktorin malleja Fennovoiman henkilöstön sekä koko otoksen tasolla sisältäen myös sisäiset konsultit. SCSA-kyselyä muokattiin tämän tutkimuksen ja organisaation muiden huomioiden perusteella. Tutkimuksen 2 tilastoanalyysissä kaikkia aineiston pohjalta nousevia faktorirakenteita tarkasteltiin eksploratiivisen faktorianalyysin avulla. Tutkimus tarkasteli myös faktorirakenteen sisäistä konsistenssia viiden faktorin mallin osalta, joka selitti 56 % varianssista ja tarjosi aiemman tieteellisen kirjallisuuden esittelemien turvallisuuskulttuurimallien valossa mielekkään rakenteen.
Empiirinen data ei tukenut mittausmallin pohjalta oletettua neljän faktorin mallia kummassakaan tutkimuksessa. Tutkimuksessa 1 havaittiin faktori, joka muistutti mittausmallin Avoimuus-ulottuvuutta, mutta tutkimuksessa 2 ei voitu toistaa tätä tulosta. Tutkimuksessa 2 suurin osa oletetun Jatkuva parantaminen -ulottuvuuden itemeistä latautui samalle faktorille. Muut oletetun mittausmallin ulottuvuuksista eivät muodostaneet tutkimuksessa yhtenäistä faktorirakennetta. Eksploratiivinen faktorianalyysi antoi alustavaa tukea vaihtoehtoiselle viiden faktorin mallille, joka myös osoitti korkeaa sisäistä konsistenssia.
SCSA-kyselyä ei voi vielä pitää validina turvallisuuskulttuurin arviointimenetelmänä kyseisessä organisaatiossa. Validiteettia voidaan parantaa kehittämällä itemeiden sisältöä samoin kuin tasapainottamalla eri ulottuvuuksia mittaavien itemeiden määrää. Useiden eri arviointimenetelmien käyttö kyselytutkimusten lisäksi kuten auditointi, laaturyhmät ja havainnointi säilyvät oleellisena osana organisaation turvallisuuskulttuurin arviointia. Tämä tutkimus tarjosi lisätietoa itsearviointikyselyn jatkokehittämiseksi osana monimenetelmällistä arviointia.
This study assesses the psychometric properties and factor structure of two versions of Nuclear Safety Culture Self-Assessment Survey (SCSA Survey) to assess validity of the questionnaire. The survey is based on Fennovoima’s safety culture model consisting of four dimensions; commitment, awareness, continuous improvement, and transparency.
The surveys were conducted in 2019 (Study 1, n=224, response rate 58%) and 2021 (Study 2, n=251, response rate 57%) among Fennovoima employees and internal consultants. Data analysis of study 1 consisted of explorative factor analysis comparing a single-factor model and a four-factor model for both Fennovoima employees and the whole sample including internal consultants. SCSA Survey is revised based on conclusions and suggestions of this study as well as other considerations of the organization. Data analysis of study 2 consisted of explorative factor analysis comparing all factor models based on data. Study also explored the internal consistency of a five-factor model which explained 56% of total variance and reflected a meaningful factor structure in the light of earlier safety culture models in scientific literature.
Empirical data did not support the expected four-factor structure hypothesized by the measurement model in either of the studies. Study I detected a factor resembling the Transparency dimension, but Study II could not replicate that result. In Study II, most of the items of the Continuous improvement dimension loaded to same factor. Other hypothesized dimensions did not form a unified factor structure. Explorative factor analysis gave preliminary support to an alternative five-factor model, which also showed high internal consistency.
SCSA Survey cannot yet be considered a valid assessment method for assessing safety culture of a given organization. Validity can be improved by developing the content of items as well as balancing the number of items representing each dimension. Using a triangulation of assessment methods such as audits, qualitative focus groups, and behavioural observations remains focal when assessing safety culture of an organization. This study provided information for further development of the survey questionnaire as part of a broader multi-method assessment.
Tämä tutkimus arvioi yhden turvallisuuskulttuurin itsearviointikyselyn (Nuclear Safety Culture Self-Assessment Survey, SCSA-kysely) kahden eri version psykometrisiä ominaisuuksia kyselyn validiteetin arvioimiseksi. Tämä kysely perustuu Fennovoiman turvallisuuskulttuurimalliin, joka koostuu neljästä ulottuvuudesta; Sitoutuminen, Tietoisuus, Jatkuva parantaminen ja Avoimuus.
Kyselyt toteutettiin vuosina 2019 (Tutkimus 1, n=224, vastausprosentti 58 %) ja 2021 (Tutkimus 2, n=251, vastausprosentti 57 %) Fennovoiman henkilöstölle ja sisäisille konsulteille. Tutkimuksen 1 tilastollinen analyysi koostui eksploratiivisesta faktorianalyysistä, jossa verrattiin yhden ja neljän faktorin malleja Fennovoiman henkilöstön sekä koko otoksen tasolla sisältäen myös sisäiset konsultit. SCSA-kyselyä muokattiin tämän tutkimuksen ja organisaation muiden huomioiden perusteella. Tutkimuksen 2 tilastoanalyysissä kaikkia aineiston pohjalta nousevia faktorirakenteita tarkasteltiin eksploratiivisen faktorianalyysin avulla. Tutkimus tarkasteli myös faktorirakenteen sisäistä konsistenssia viiden faktorin mallin osalta, joka selitti 56 % varianssista ja tarjosi aiemman tieteellisen kirjallisuuden esittelemien turvallisuuskulttuurimallien valossa mielekkään rakenteen.
Empiirinen data ei tukenut mittausmallin pohjalta oletettua neljän faktorin mallia kummassakaan tutkimuksessa. Tutkimuksessa 1 havaittiin faktori, joka muistutti mittausmallin Avoimuus-ulottuvuutta, mutta tutkimuksessa 2 ei voitu toistaa tätä tulosta. Tutkimuksessa 2 suurin osa oletetun Jatkuva parantaminen -ulottuvuuden itemeistä latautui samalle faktorille. Muut oletetun mittausmallin ulottuvuuksista eivät muodostaneet tutkimuksessa yhtenäistä faktorirakennetta. Eksploratiivinen faktorianalyysi antoi alustavaa tukea vaihtoehtoiselle viiden faktorin mallille, joka myös osoitti korkeaa sisäistä konsistenssia.
SCSA-kyselyä ei voi vielä pitää validina turvallisuuskulttuurin arviointimenetelmänä kyseisessä organisaatiossa. Validiteettia voidaan parantaa kehittämällä itemeiden sisältöä samoin kuin tasapainottamalla eri ulottuvuuksia mittaavien itemeiden määrää. Useiden eri arviointimenetelmien käyttö kyselytutkimusten lisäksi kuten auditointi, laaturyhmät ja havainnointi säilyvät oleellisena osana organisaation turvallisuuskulttuurin arviointia. Tämä tutkimus tarjosi lisätietoa itsearviointikyselyn jatkokehittämiseksi osana monimenetelmällistä arviointia.