2.3.6 Testa mätinstrument

När hela mätinstrumentet är konstruerat, och man fått och tagit hand om beställarens eventuella synpunkter, ska man testa hur mätinstrumentet fungerar. I vissa undersökningar kan det även vara lämpligt att testa frågor, svarsalternativ och frågeordning redan innan man skapar ett frågeformulär. Det finns många skäl till varför man ska testa mätinstrumentet innan det används. Ett av de främsta skälen är att kontrollera att frågorna verkligen samlar in den information man är ute efter att undersöka. Andra skäl är t.ex. för att upptäcka problem i frågor och svarsalternativ, om instruktioner är otillräckliga, om det finns logiska fel i strukturen (t.ex. fel i hoppanvisningar eller programmeringsfel), samt om uppgiftslämnarbördan riskerar att bli för hög eller bortfallet för stort. Upptäcker man problemen innan mätinstrumentet skickas ut till uppgiftslämnare, finns möjligheter att förbättra instrumentet så att man minimerar oklarheter och problem.

Även test som visar på ett väl fungerande mätinstrument är värdefullt. Då kan man vid bearbetning och analys av datamaterialet ha större tilltro till de slutsatser som dras. Även tredje part som tar del av resultatet, kan komma att känna större förtroende till siffrorna om mätinstrumentet har testats.

Till mätinstrumentet räknas förutom frågeformuläret, även de brev som skickas ut i samband med undersökningen, samt det material som behövs för uppgiftslämnandet, t.ex. separata instruktioner.

Input

• Skapade brev från process 2.3.4 Skapa brev
• Skapade frågeformulär från process 2.3.5 Skapa frågeformulär

Output

• Mätinstrumenten (både frågeformulär, brev och annan information till uppgiftslämnare) är testade och redo att användas

Genomförande

När ska en mätteknisk insats genomföras

Mättekniker ska kontaktas när minst ett av följande villkor är uppfyllt:

• Om mätinstrumentet är helt nytt.
• Om mätinstrumentet ändras, då frågor eller instruktioner ändras, läggs till eller tas bort t.ex. på grund av att uppgiften hämtas från en annan datakälla.
• Om en ny/förändrad insamlingsmetod eller nytt insamlingsverktyg införs vid sidan av eller istället för tidigare metod/verktyg (byte från gamla till nya SIV etc.).
• Om mätsituationen förändras på ett sätt som gör det troligt att tidigare testresultat inte längre är relevanta (ny undersökningsgrupp, samhällsförändringar, ny kulturell kontext etc.).
• Om det finns indikationer på problem med mätinstrumentet (t.ex. från loggbok, debriefing, granskning eller processdata.).
• Om mätinstrumentet inte har testats tidigare enligt SCB:s rutiner.
• Om inget av ovanstående villkor är uppfyllt men kunden ändå önskar test eller om SCB:s uppdragsråd bedömer det nödvändigt av policyskäl.

Tillsammans med mättekniker beslutas vad som ska genomföras, med utgångspunkt i ambitionsnivåerna nedan och vilka förändringar som skett. Även om inte något av villkoren ovan är uppfyllt, så är det rekommenderat att göra en uppföljning minst en gång per år för återkommande undersökningar (vid varje tillfälle om undersökningen görs mer sällan än årligen). Uppföljningen görs med hjälp av t.ex. loggbok, debriefing, processdata eller liknande för att undersöka om det är något i insamlingsprocessen eller mätinstrumentet som fungerar sämre och behöver omarbetas. Det är extra viktigt att ha kunskap om eventuella problem ifall man ska genomföra större förändringar i produktionen, t.ex. förändringar av granskningsrutiner. Ta hjälp av mättekniker och den enhet som sköter datainsamlingen.

I följande texter kan man läsa mer om val av mätteknisk insats samt de olika testmetoderna.

Genomför test och analysera resultaten 

När man har kommit överens om vilka typer av test som ska utföras, startar genomförandet. Testen leds i regel av mättekniker. I förarbetet är oftast olika personer som arbetar med undersökningen inblandade. Under genomförandet deltar även annan kompetens om det skulle behövas, t.ex. metodstatistiker och specialtränade intervjuare.

Efter att testen är genomförda analyseras resultatet och lämnas i en skriftlig rapport till den interna beställaren. Om en extern kund finns, ska även denna få ta del av testresultaten. Rapporten innehåller ofta (beroende på testmetod) förslag på hur formulär, instruktioner och andra delar av mätinstrumentet kan revideras.

När resultatet har tagits om hand, bör man göra ytterligare en bedömning om flera mättekniska test behöver göras innan mätinstrumentet tas i bruk. De ändringar som har gjorts i mätinstrumentet ska dokumenteras. Dokumentationen kan bestå av det slutliga mätinstrumentet, en separat beskrivning av vad som har ändrats eller båda. Såväl testresultat som genomförda förändringar ska sparas hos mättekniker och den interna beställaren.

Funktionstest av webbformulär
Innan ett mätinstrument kan betraktas som färdigt att använda, är en viktig del i framställningen av webbformulär att kontrollera att det slutliga formuläret återspeglas på ett korrekt sätt när det visas på webben. Detta gäller både att frågorna har en tydlig layout och att alla hoppanvisningar stämmer överens med den tänkta navigeringen. Funktionstest ska göras och dokumenteras.

Innan funktionstestet görs, måste man bygga in olika funktionaliteter i formuläret. Detta kan till exempel vara hjälpinformation, sökfunktioner, granskningskontroller (utformas i process 2.4.2) m.m. (se de tre dokumenten nedan som avser Mättekniska anvisningar för webblanketter). Därefter ska innehållet i formuläret (t.ex. variabelnamn och texter) samt funktionalitet (t.ex. ingående beräkningar och granskningskontroller), kontrolleras och dokumenteras. I detta arbete behöver beställare, blankettkonstruktör och i vissa fall även IT samt mättekniker involveras. Använd relevant checklista för funktionstest (se nedan).

 

Dokument och länkar

Val av mätteknisk insats (pdf)
Beskrivning av mättekniska testmetoder - uppdragsundersökningar (pdf)
Beskrivning av mättekniska testmetoder – anslagsundersökningar samt även vissa SAM-uppdrag (pdf)
Metoder att kvantifiera mätfel (pdf)
Mättekniska anvisningar för webblanketter (pdf) OBS skrivet för gamla SIV, för nya SIV se nedanstående dokument
Mättekniska anvisningar för webblanketter i nya SIV – individer och hushåll (pdf)
Mättekniska anvisningar för webblanketter i nya SIV - företag, organisationer och offentlig sektor (pdf)
Checklista för funktionstest av intervjuformulär (pdf)
Checklista för funktionstest av webbformulär i SIV (Word, endast för SCB) Exempel för SAM (pdf) observera att dokumentet innehåller en del föråldrade benämningar, dokumentet är också skyddat och kan inte redigeras längre så det går inte att uppdatera det.

------------------------------------------------------------------------------------------------------------------------------------------------------
 

Senaste uppdatering​
2023-04-28

Verifierad
2024-11-13

Diarienummer A2024/0055