Nurse Competence Scale -mittarin kehittäminen perusterveydenhuollon näkökulmasta
Toivonen, Kaius (2023-07-18)
Nurse Competence Scale -mittarin kehittäminen perusterveydenhuollon näkökulmasta
Toivonen, Kaius
(18.07.2023)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
suljettu
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2023073192631
https://urn.fi/URN:NBN:fi-fe2023073192631
Tiivistelmä
Kahden vuosikymmenen ajan kansainvälisesti kehitetty suomalainen Riitta Meretojan laatima 73:n
väittämän NCS (Nurse Competence Scale) -mittari on tällä hetkellä runsaasti käytetty geneerinen
itsearvointimittari arvioimaan hoitotyöntekijän kompetenssia. Mittari on suunniteltu käytettävän
pääasiassa sairaalaympäristössä, eikä sitä ole käytetty perusterveydenhuollossa juurikaan. Tämän
tutkielman tarkoitus oli jaettu kahteen vaiheeseen toteutettavaksi. Ensimmäisessä vaiheessa
tarkasteltiin, että soveltuiko NCS -mittarin sisältö arvioimaan perusterveydenhuollon
kokonaiskompetenssia ja mitkä NCS -mittarin väittämät tarvitsisivat mahdollista kehittämistä
perusterveydenhuollon näkökulmasta psykometriikkaan perustuen. Toisessa vaiheessa arvioitiin miten
NCS -mittarin relevanssia ja selkeyttä tulisi kehittää asiantuntijapaneelin perusteella sekä minkälaisia
NCS -mittarin kehittämiseen liittyviä teemoja voitiin johtaa asiantuntijoiden palautteesta hyödyntäen
aineistolähtöistä sisällönanalyysiä. Tutkielma liittyi yhden suomalaisen kaupungin sote -toimialan
suunnitelmaan, jossa NCS -mittarin käyttökelpoisuutta arvioitiin perusterveydenhuollossa.
Ensimmäisessä vaiheessa hyödynnettiin kyseisen kaupungin organisaation perusterveydenhuollossa
vuonna 2019 NCS -mittarilla koottua ja raportoitua strukturoitua kyselyaineistoa. Aineiston
perusteella NCS -mittari on soveltuva perusterveydenhuoltoon Cronbachin alpha -arvon perusteella,
mutta toiseen vaiheeseen valittujen väittämien osalta laatukeskiarvot ja/tai toistuvuudet työtehtävissä
olivat matalat, joten näitä väittämiä tarkasteltiin tarkemmin toisen vaiheen Delphi -
asiantuntijapaneelissa. Tarkasteltavia väittämiä ensimmäisen vaiheen perusteella valittiin 17.
Toisen vaiheen asiantuntijapaneeliin osallistui 16 kyseisen kaupungin organisaatiossa työskentelevää
hoitotyöntekijää (mukaan lukien johtajat, esihenkilöt, ylihoitajat, osastonhoitajat, vastaavat esihenkilöt
esim. ohjaajat ja laajavastuisessa hoitotyössä toimivia työntekijöitä) kohdennetulla haulla eri
perusterveydenhuollon palvelukokonaisuuksista vuonna 2023. Asiantuntijapaneelissa heistä vastasi
ensimmäisellä kierroksella kaikki ja toisella sekä kolmannella kierroksella 15. Asiantuntijapaneelissa
arvioitiin väittämien relevanssia ja selkeyttä perusterveydenhuollon hoitotyöntekijän
kokonaiskompetenssille 1–4 Likert -asteikolla sekä annettiin avoimia palautteita.
Likert -asteikon vastauksista laskettiin sisällönvaliditeetti -arvot niin väittämäkohtaisesti kuin kaikkien
kehitettävien väittämien yhteinen sisällönvaliditeetin keskiarvo (Ave-CVI). Ensimmäisellä
kierroksella viisi väittämää olivat tarpeeksi relevantteja ja selkeitä, jolloin väittämien yhteinen
sisällönvaliditeetti keskiarvo oli 0.294. Kolmannella kierroksella oli vain yksi väittämä, josta ei
saavutettu yksimielisyyttä, jolloin yhteinen sisällönvaliditeetin keskiarvo nousi 0.941 asti. Toisen
vaiheen asiantuntijapaneelin avoimet palautteet analysoitiin aineistolähtöisellä sisällönanalyysillä,
jolloin abstrahoitiin neljä toistuvaa teemaa, johon kehitysehdotukset liittyivät. Nämä olivat
terminologinen, kielellinen, vaikutelma, sekä vastuu -teemat.
Ensimmäisen vaiheen aineiston perusteella NCS -mittari on psykometrisesti soveltuva
perusterveydenhuoltoon sellaisenaan. Toisen vaiheen aineistolähtöinen sisällönanalyysi osoittaa
kuitenkin, että NCS -mittaria on mahdollista jatkokehittää perusterveydenhuollon näkökulmaan
sopivammaksi ja tätä tukee asiantuntija-aineistosta analysoidut neljä teemaa. Teemat tukevat
väittämien muotoilua huomioimaan perusterveydenhuollon toimialan kokonaisuutena. The generic Finnish NCS (Nurse Competence Scale) instrument consisting of 73 -items for assessing
competency of nurses has been developed internationally for two decades and is currently one of the
most used instruments used for its purpose. The instrument has been designed for hospital
environment and has not basically been used in public healthcare. This research was designed to be
concluded in two phases. The purpose of this research in the first phase was to assess if NCS -
instrument is viable to assess competency of nurses in public healthcare and what items possibly
require improvement from psychometric viewpoint. In the second phase a Delphi expert panel
assessed items chosen in the first phase on how to improve clarity and relevance of the chosen items
both with open feedback and 1–4 Likert -scale. The open feedback was analysed using systematic
content analysis to derive and analyse main themes for improving the items of NCS -instrument. The
research was related to one specific Finnish city’s Division of Social Services and Health Care plan to
assess feasibility of NCS -instrument.
In the first phase the used structured data was both collected and reported in primary care of the city
by using Nurse Competence Scale in 2019. According to the structured data the Nurse Competence
Scale is valid for primary care setting according to Cronbach alpha -values. However, the results of
self-assessment in 17 items in the structured questionnaire data had low quality values and/or low
frequency in work. These items were assessed then in the expert panel.
In the second phase the expert panel was formed in a year 2023 of 16 experts who work in healthcare
organization of the city either as registered nurse, public health nurse, nursing director, nurse
administrator, head nurse of ward, advanced practice nurse or as other head nurse of a different title).
Selective search was performed by the research’s contact person to invite the experts who worked in
the same city’s service domains in public healthcare. In the first round 16 experts responded to the
questionnaire, while in the second and third round the number of responding experts was 15.
Likert -scale was used to determine both every item’s content validity as well as the average content
validity (Ave-CVI) of all items. In the first round five items were assessed to have sufficient clarity
and relevance, which means that during the first round Ave-CVI index was 0.294. After the third
round only one item remained without consensus of the expert panel. Therefore, Ave-CVI was 0.941
which is sufficient enough. The analysis of the open feedback resulted into four common themes that
recurred in several items. The themes were terminology, linguistic, impressions and responsibilities.
According to the first phase NCS is psychometrically applicable to public healthcare. However, the
second phase indicates that it is possible to improve items of NCS -instrument further on for the needs
and perspectives of the public healthcare and this finding is proved by the four themes of the second
phase. The themes will aid to pay attention to the versatile nature of the public healthcare in different
work settings.
väittämän NCS (Nurse Competence Scale) -mittari on tällä hetkellä runsaasti käytetty geneerinen
itsearvointimittari arvioimaan hoitotyöntekijän kompetenssia. Mittari on suunniteltu käytettävän
pääasiassa sairaalaympäristössä, eikä sitä ole käytetty perusterveydenhuollossa juurikaan. Tämän
tutkielman tarkoitus oli jaettu kahteen vaiheeseen toteutettavaksi. Ensimmäisessä vaiheessa
tarkasteltiin, että soveltuiko NCS -mittarin sisältö arvioimaan perusterveydenhuollon
kokonaiskompetenssia ja mitkä NCS -mittarin väittämät tarvitsisivat mahdollista kehittämistä
perusterveydenhuollon näkökulmasta psykometriikkaan perustuen. Toisessa vaiheessa arvioitiin miten
NCS -mittarin relevanssia ja selkeyttä tulisi kehittää asiantuntijapaneelin perusteella sekä minkälaisia
NCS -mittarin kehittämiseen liittyviä teemoja voitiin johtaa asiantuntijoiden palautteesta hyödyntäen
aineistolähtöistä sisällönanalyysiä. Tutkielma liittyi yhden suomalaisen kaupungin sote -toimialan
suunnitelmaan, jossa NCS -mittarin käyttökelpoisuutta arvioitiin perusterveydenhuollossa.
Ensimmäisessä vaiheessa hyödynnettiin kyseisen kaupungin organisaation perusterveydenhuollossa
vuonna 2019 NCS -mittarilla koottua ja raportoitua strukturoitua kyselyaineistoa. Aineiston
perusteella NCS -mittari on soveltuva perusterveydenhuoltoon Cronbachin alpha -arvon perusteella,
mutta toiseen vaiheeseen valittujen väittämien osalta laatukeskiarvot ja/tai toistuvuudet työtehtävissä
olivat matalat, joten näitä väittämiä tarkasteltiin tarkemmin toisen vaiheen Delphi -
asiantuntijapaneelissa. Tarkasteltavia väittämiä ensimmäisen vaiheen perusteella valittiin 17.
Toisen vaiheen asiantuntijapaneeliin osallistui 16 kyseisen kaupungin organisaatiossa työskentelevää
hoitotyöntekijää (mukaan lukien johtajat, esihenkilöt, ylihoitajat, osastonhoitajat, vastaavat esihenkilöt
esim. ohjaajat ja laajavastuisessa hoitotyössä toimivia työntekijöitä) kohdennetulla haulla eri
perusterveydenhuollon palvelukokonaisuuksista vuonna 2023. Asiantuntijapaneelissa heistä vastasi
ensimmäisellä kierroksella kaikki ja toisella sekä kolmannella kierroksella 15. Asiantuntijapaneelissa
arvioitiin väittämien relevanssia ja selkeyttä perusterveydenhuollon hoitotyöntekijän
kokonaiskompetenssille 1–4 Likert -asteikolla sekä annettiin avoimia palautteita.
Likert -asteikon vastauksista laskettiin sisällönvaliditeetti -arvot niin väittämäkohtaisesti kuin kaikkien
kehitettävien väittämien yhteinen sisällönvaliditeetin keskiarvo (Ave-CVI). Ensimmäisellä
kierroksella viisi väittämää olivat tarpeeksi relevantteja ja selkeitä, jolloin väittämien yhteinen
sisällönvaliditeetti keskiarvo oli 0.294. Kolmannella kierroksella oli vain yksi väittämä, josta ei
saavutettu yksimielisyyttä, jolloin yhteinen sisällönvaliditeetin keskiarvo nousi 0.941 asti. Toisen
vaiheen asiantuntijapaneelin avoimet palautteet analysoitiin aineistolähtöisellä sisällönanalyysillä,
jolloin abstrahoitiin neljä toistuvaa teemaa, johon kehitysehdotukset liittyivät. Nämä olivat
terminologinen, kielellinen, vaikutelma, sekä vastuu -teemat.
Ensimmäisen vaiheen aineiston perusteella NCS -mittari on psykometrisesti soveltuva
perusterveydenhuoltoon sellaisenaan. Toisen vaiheen aineistolähtöinen sisällönanalyysi osoittaa
kuitenkin, että NCS -mittaria on mahdollista jatkokehittää perusterveydenhuollon näkökulmaan
sopivammaksi ja tätä tukee asiantuntija-aineistosta analysoidut neljä teemaa. Teemat tukevat
väittämien muotoilua huomioimaan perusterveydenhuollon toimialan kokonaisuutena.
competency of nurses has been developed internationally for two decades and is currently one of the
most used instruments used for its purpose. The instrument has been designed for hospital
environment and has not basically been used in public healthcare. This research was designed to be
concluded in two phases. The purpose of this research in the first phase was to assess if NCS -
instrument is viable to assess competency of nurses in public healthcare and what items possibly
require improvement from psychometric viewpoint. In the second phase a Delphi expert panel
assessed items chosen in the first phase on how to improve clarity and relevance of the chosen items
both with open feedback and 1–4 Likert -scale. The open feedback was analysed using systematic
content analysis to derive and analyse main themes for improving the items of NCS -instrument. The
research was related to one specific Finnish city’s Division of Social Services and Health Care plan to
assess feasibility of NCS -instrument.
In the first phase the used structured data was both collected and reported in primary care of the city
by using Nurse Competence Scale in 2019. According to the structured data the Nurse Competence
Scale is valid for primary care setting according to Cronbach alpha -values. However, the results of
self-assessment in 17 items in the structured questionnaire data had low quality values and/or low
frequency in work. These items were assessed then in the expert panel.
In the second phase the expert panel was formed in a year 2023 of 16 experts who work in healthcare
organization of the city either as registered nurse, public health nurse, nursing director, nurse
administrator, head nurse of ward, advanced practice nurse or as other head nurse of a different title).
Selective search was performed by the research’s contact person to invite the experts who worked in
the same city’s service domains in public healthcare. In the first round 16 experts responded to the
questionnaire, while in the second and third round the number of responding experts was 15.
Likert -scale was used to determine both every item’s content validity as well as the average content
validity (Ave-CVI) of all items. In the first round five items were assessed to have sufficient clarity
and relevance, which means that during the first round Ave-CVI index was 0.294. After the third
round only one item remained without consensus of the expert panel. Therefore, Ave-CVI was 0.941
which is sufficient enough. The analysis of the open feedback resulted into four common themes that
recurred in several items. The themes were terminology, linguistic, impressions and responsibilities.
According to the first phase NCS is psychometrically applicable to public healthcare. However, the
second phase indicates that it is possible to improve items of NCS -instrument further on for the needs
and perspectives of the public healthcare and this finding is proved by the four themes of the second
phase. The themes will aid to pay attention to the versatile nature of the public healthcare in different
work settings.