4.3 Sammanställ datakällor
Uppgifter
som inkommer via olika kanaler kommer i olika format. Denna process
handlar om att sammanföra allt inkommet material till ett gemensamt
format och lagra det på en gemensam plats för att kunna gå vidare med
olika typer av bearbetningar. Detta steg resulterar i data enligt hållpunkt 2 (HP2).
Hur det slutliga sammanställda datamaterialet ska se ut bestäms redan i
utformningen, process 2.2 Utforma undersökning och variabler.
Data som inhämtas från andra aktörer kan ha en struktur som inte är anpassad för användning i statistikproduktionen, eller vara uppdelad på ett flertal olika leveranser eller filer som vi vill slå ihop till ett samlat register (BOR). Om undersökningen avser sammanställningen av ett BOR blir resultatet ett eller flera olika dataset, beroende på BOR:ets omfattning och utformning. Ett BOR ska vara upplagt och registrerat i Registerportalen.
För
direktinsamling gäller att SIV har ett format, WinDati ett annat och skanningen
ett tredje. Dataregistrerat material och material som inkommer via filer eller
olika typer av speciallösningar kan ha ett mycket varierande utseende.
Resultatet av sammanställningen är då vanligen ett dataset som kan utgöra
utgångspunkt i fortsatt bearbetning enligt process 5.
Input
Som input till processen behövs:
- regler, skript och undersökningsmaterial från utformningsprocesserna
- inkommande eller insamlade data.
Output
När processen är genomförd finns:
- data mottaget, granskat, kodat, bearbetat och sammanställt till BOR alternativt för vidare användning i statistikframställning
- BOR:et dokumenterat i DOKBOR
- BOR:ets dataset i hållpunkt 2 (HP2) lagrade och tillgängliggjorda
- användarna är informerade om att BOR:et är klart för användning via notering i Registerportalen.
eller
- direktinsamlade data sammanställt i gemensamt format för vidare bearbetning och användning i statistikframställning
- direkinsamlingen dokumenterad i datainsamlingsdokumentation eller teknisk rapport.
Genomförande
Undersökning med administrativa data/automatiserad insamling
Använd Checklista för framställning av BOR som stöd i genomförandet. Checklistan är ett stöd och behöver inte fyllas i och sparas om man inte vill.
Kontrollera att data inkommit och lästs in enligt plan och uppfyller den tekniska valideringen. Om Hydra används kan man se inkomna leveranser i Hydras kontrollrum, se länk nedan. Om data inte har inkommit eller lästs in enligt plan, kontrollera först om filer inkommit men inte kommit igenom Hydra. Kontakta Driften om det behövs. Om det visar sig att data inte kommit alls, kontakta leverantören för att reda ut varför. Ta vid behov hjälp av Leverantörsansvarig på Dataavdelningen. Om det finns risk för förseningar i framställningen av BOR:et, lägg ut ett meddelande i Registerportalen eller kontakta funktionsbrevlådan *registerdata för att få hjälp med att lägga ut ett meddelande.
Genomför bearbetningar, härledningar m.m. och se till att det sammanställda datamaterialet (BOR:et) uppfyller kraven på format etc. enligt utformningen. Se till att de färdiga dataseten i hållpunkt 2 (HP2) sparas på rätt ställe och tillgängliggörs enligt plan.
- Genomför granskning enligt gjord utformning med syfte att vid behov återkoppla till leverantören. Vid behov, ta kontakt med leverantören för att kolla om det blivit fel i leveransen utifrån förväntningarna. Om det finns risk för förseningar i framställningen av BOR:et, lägg ut ett meddelande i Registerportalen, eller kontakta funktionsbrevlådan *registerdata för att få hjälp med att lägga ut ett meddelande.
- Genomför kodning enligt utformningen.
- Genomför granskning enligt utformningen. Genomför flaggningar och skapa nya variabler till följd av felsignalering och åtgärder därav.
- Genomför identitetshantering enligt utformningen. Läs vidare i Guide till identitetshantering och tillhörande stöddokument Hantering av personnummer i registerproduktion och Hantering av PeOrgNr i registerproduktion.
- Genomför övriga bearbetningar för att framställa BOR:et.
Dokumentera BOR:et i Mall för DOKBOR och lagra i Registerportalen. DOKBOR är ett levande dokument som man fyller i i takt med att någon förändring sker i materialet eller framställningen. Om dokumentet framöver kommer att publiceras på webbplatsen publiceras årligen en ”fryst” version. Ta hjälp av metodstatistiker vid behov, särskilt första gången DOKBOR skrivs. Ta hjälp via funktionsbrevlådan *registerdata kring lagring.
Informera användarna om att BOR:et är klart för användning via en notering i Registerportalen.
En beskriven (och på sikt så automatiserad som möjligt) process för arkivering och gallring för BOR, saknas idag men ska arbetas fram. För mer information kring arkivering och gallring, se process 8.2 Bevara och gallra.
Undersökning med direktinsamlade data
Det finns för närvarande inget standardiserat sätt att utföra denna delprocess. Hur sammanföringen sker beror idag på hur den enskilda undersökningens databaser och produktionsmiljö ser ut, samt vilka insamlingssätt som har använts. Inom ramen för enskilda produktionsmiljöer förekommer emellertid standardiserade förfaranden. Viss vägledning fås i Om innehåll och utseende vid leverans från SIV.
När direktinsamling förekommer ska samtliga moment i denna dokumenteras. Vid externa uppdrag rapporteras en betydande del (i vissa fall samtliga delar) av datainsamlingsdokumentationen i teknisk rapport, se Mallar för uppdrag nedan. För dessa moment är en hänvisning till teknisk rapport fullt tillräcklig.
För anslagsundersökningar och SAM-uppdrag skrivs inga tekniska rapporter (där finns särskilda avtal) och för dessa undersökningar ska en fullständig datainsamlingsdokumentation redovisas. Kvalitativa studier dokumenteras i särskild ordning (se process 2.3.5 Skapa frågeformulär) och berörs inte av denna datainsamlingsdokumentation. Datainsamlingsdokumentationen är i första hand en intern dokumentation för Dataavdelningen, men stora delar kan med fördel lämnas till intern kund.
Det finns två olika mallar för datainsamlingsdokumentation, en för undersökningar riktade till företag och organisationer och en för undersökningar riktade till individer och hushåll, se "Dokument och länkar". Till mallen för företag och organisationer finns det instruktioner med stöd för hur underlag till datainsamlingsdokumentationen kan tas fram. Mallarna ska användas och resultatet ska lagras tillsammans med övriga undersökningsdokument.
För vissa undersökningar innefattar leveransbeskrivningen en loggbok. Mallen för loggbok är avsedd att användas under produktionens genomförande och bör kunna fungera som input till delar av datainsamlingsdokumentationen. Mallen för loggbok finns i både Word- och Excel-format (se "Dokument och länkar") och det är upp till undersökningen att välja vilken som är mest lämplig att använda.
Som en del av datainsamlingsdokumentationen, och som underlag till utvärdering av datainsamlingsprocessen, kan processindikatorer tas fram baserat på processdata från de olika insamlingsverktygen. Det finns ett framtaget skript för att ta fram en standardrapport från nya SIV. Länk till skriptet och tillhörande handledning finns nedan (Handledning och skript för standardrapport från SIV). För Triton finns Handledning av uttag av data från Triton. Det finns för närvarande ingen handledning eller standardrapport gällande processdata från WinDati.
Dokument och länkar för SCB
Länklistan i detta avsnitt är
endast tillgänglig för användare på SCB.
Dokument och länkar för användare utanför SCB
------------------------------------------------------------------------------------------------------------------------------------------------------
Senast uppdaterad
2025-06-25
Verifierad
2025-06-25
Diarienummer SCB2025/11