4.3 Sammanställ datakällor
Uppgifter
som inkommer via olika kanaler kommer i olika format. Denna process
handlar om att sammanföra allt inkommet material till ett gemensamt
format och lagra det på en gemensam plats för att kunna gå vidare med
olika typer av bearbetningar. Detta steg resulterar i data enligt hållpunkt 2.
Hur det slutliga sammanställda datamaterialet ska se ut bestäms redan i
utformningen, process 2.2.
För
direktinsamling gäller att SIV har ett format, WinDati ett annat och skanningen
ett tredje. Dataregistrerat material och material som inkommer via filer eller
olika typer av speciallösningar kan ha ett mycket varierande utseende.
Resultatet av sammanställningen är då vanligen ett dataset som kan utgöra
utgångspunkt i fortsatt bearbetning enligt process 5.
Data
som inhämtas från andra aktörer kan ha en struktur som inte är anpassad för
användning i statistikproduktionen, eller vara uppdelad på ett flertal olika
leveranser eller filer som vi vill slå ihop till ett samlat register (BOR). Om
undersökningen avser sammanställningen av ett BOR blir resultatet ett eller
flera olika dataset, beroende på BOR:ets omfattning och utformning. Ett BOR ska vara upplagt och registrerat i Registerportalen.
Input
- regler, script och undersökningsmaterial från utformningsprocesserna
- inkommande eller insamlade data
Output
- direktinsamlade data sammanställt i gemensamt format för vidare bearbetning och användning i statistikframställning
- datainsamlingen dokumenterad i datainsamlingsdokumentation eller teknisk rapport
eller
- data mottaget, granskat, kodat, bearbetat och sammanställt till BOR alternativt för vidare användning i statistikframställning
- BOR:et dokumenterat i DOKBOR
- BOR:ets dataset i hållpunkt 2 lagrade och tillgängliggjorda
- användarna är informerade om att BOR:et är klart för användning via notering i Registerportalen
Genomförande
Undersökning med direktinsamlade data
Det finns för närvarande inget standardiserat sätt att utföra denna delprocess. Hur sammanföringen sker beror idag på hur den enskilda undersökningens databaser och produktionsmiljö ser ut, samt vilka insamlingssätt som använts. Inom ramen för enskilda produktionsmiljöer förekommer emellertid standardiserade förfaranden. Viss vägledning fås i Om innehåll och utseende vid leverans från SIV.
När direktinsamling förekommer ska samtliga moment i denna dokumenteras. Vid externa uppdrag rapporteras en betydande del (i vissa fall samtliga delar) av datainsamlingsdokumentationen i teknisk rapport, se Mallar för uppdrag nedan. För dessa moment är en hänvisning till teknisk rapport fullt tillräcklig.
För anslagsundersökningar och SAM-uppdrag skrivs inga tekniska rapporter (där finns särskilda avtal) och för dessa undersökningar ska en fullständig datainsamlingsdokumentation redovisas. Kvalitativa studier dokumenteras i särskild ordning (se process 2.3.5) och berörs inte av denna datainsamlingsdokumentation. Datainsamlingsdokumentationen är i första hand intern dokumentation för Dataavdelningen, men stora delar kan med fördel lämnas till intern kund.
Det finns två olika mallar för datainsamlingsdokumentation, en för undersökningar riktade till företag och organisationer och en för undersökningar riktade till individer och hushåll, se "Dokument och länkar". Till mallen för företag och organisationer finns det instruktioner med stöd för hur underlag till datainsamlingsdokumentationen kan tas fram. Mallarna ska användas och resultatet ska lagras tillsammans med övriga undersökningsdokument.
För vissa undersökningar innefattar leveransbeskrivningen en loggbok. Mallen för loggbok är avsedd att användas under produktionens genomförande och bör kunna fungera som input till delar av datainsamlingsdokumentationen. Mallen för loggbok finns i både Word- och Excel-format (se "Dokument och länkar") och det är upp till undersökningen att välja vilken som är mest lämplig att använda.
Som en del av datainsamlingsdokumentationen, och som underlag till utvärdering av datainsamlingsprocessen, kan processindikatorer tas fram baserat på processdata från de olika insamlingsverktygen. Det finns ett framtaget skript för att ta fram en standardrapport från nya SIV. Länk till skriptet och tillhörande handledning finns nedan (Handledning och skript för standardrapport från SIV). För Triton finns Handledning av uttag av data från Triton. Det finns för närvarande ingen handledning eller standardrapport gällande processdata från WinDati.
Undersökning med administrativa data/automatiserad insamling
Använd Checklista för framställning av BOR som stöd i genomförandet. Checklistan är ett stöd och behöver inte fylla i och sparas om man inte vill.
Kontrollera att data inkommit och lästs in enligt plan och uppfyller den tekniska valideringen. Om Hydra används kan man se inkomna leveranser i Hydras kontrollrum, se länk nedan. Om data inte har inkommit eller lästs in enligt plan, kontrollera först om filer inkommit men inte kommit igenom Hydra, kontakta Driften om det behövs. Om det visar sig att data inte kommit alls, kontakta leverantören för att reda ut varför. Ta vid behov hjälp av Leverantörsansvarig på Dataavdelningen. Om det finns risk för förseningar i framställningen av BOR:et, lägg ut ett meddelande i Registerportalen eller kontakta *registerdata för att få hjälp med att lägga ut ett meddelande.
Genomför bearbetningar, härledningar m.m. och se till att det sammanställda datamaterialet (BOR:et) uppfyller kraven på format etc. enligt utformningen. Se till att de färdiga dataseten i hållpunkt 2 sparas på rätt ställe och tillgängliggörs enligt plan.
- Genomför granskning enligt gjord utformning med syfte att vid behov återkoppla till leverantören. Vid behov, ta kontakt med leverantören för att kolla om det blivit fel i leveransen utifrån förväntningarna. Om det finns risk för förseningar i framställningen av BOR:et, lägg ut ett meddelande i Registerportalen, eller kontakta *registerdata för att få hjälp med att lägga ut ett meddelande.
- Genomför kodning enligt utformningen.
- Genomför granskning enligt utformningen. Genomför flaggningar och skapa nya variabler till följd av felsignalering och åtgärder därav.
- Genomför identitetshantering enligt utformningen. Läs vidare i Guide till identitetshantering och tillhörande stöddokument Hantering av personnummer i registerproduktion och Hantering av PeOrgNr i registerproduktion.
- Genomför övriga bearbetningar för att framställa BOR:et
Dokumentera BOR:et i Mall för DOKBOR och lagra i Registerportalen. DOKBOR är ett levande
dokument som man fyller i i takt med att någon förändring sker i materialet
eller framställningen. Om dokumentet framöver kommer
att publiceras på webbplatsen publiceras en ”fryst” version årligen. Ta hjälp av metodstatistiker vid behov, särskilt första gången DOKBOR skrivs. Ta hjälp av *registerdata kring lagring.
Informera användarna om att BOR:et är klart för användning via en notering i Registerportalen.
En beskriven (och på sikt så automatiserad som möjligt) process för arkivering och gallring för BOR saknas idag men ska arbetas fram. För mer information kring arkivering och gallring, se process 8.2.
Dokument och länkar
Om innehåll och utseende vid leverans från SIV (pdf)
Mallar för uppdrag (Inblick, endast SCB)
Instruktioner datainsamlingsdokumentation Företag och organisationer (Word, endast SCB)
Mall datainsamlingsdokumentation Företag och organisationer (Word, endast SCB)
Mall datainsamlingsdokumentation Individer och hushåll (Word, endast SCB)
Mall loggbok (Word, endast SCB)
Mall loggbok Excel (Excel, endast SCB)
Länk till handledning och skript för standardrapport från SIV (Word, endast SCB)
Handledning för uttag av data från Triton (pdf på förvaltningsytan, endast SCB)
Checklista för framställning av BOR (Word, endast SCB) Exempel för SAM (pdf)
Hydras kontrollrum (endast SCB)
Registerportalen (Sharepoint, endast SCB)
Mall för DOKBOR (Word, endast SCB)
Guide till identitetshantering (pdf)
Hantering av personnummer i registerproduktion (pdf)
Hantering av PeOrgNr i registerproduktion (pdf)
Mallar i PDF som exempel för andra SAM än SCB
Mall Datainsamlingsdokumentation Företag och organisationer (pdf)
Mall loggbok (pdf)
Mall datainsamlingsdokumentation Individer och hushåll (pdf)
------------------------------------------------------------------------------------------------------------------------------------------------------
Senast uppdaterad
2024-11-18
Verifierad
2023-04-28
Diarienummer A2024/0057
