Mangler data - Missing data
I statistikk , manglende data , eller manglende verdier , oppstår når ingen dataverdi blir lagret for den variable i en observasjon . Manglende data er en vanlig forekomst og kan ha en betydelig effekt på konklusjonene som kan trekkes fra dataene.
Manglende data kan oppstå på grunn av ikke -svar: ingen informasjon gis for ett eller flere elementer eller for en hel enhet ("emne"). Noen varer er mer sannsynlig å generere et svar enn andre: for eksempel elementer om private emner som inntekt. Slitasje er en type mangel som kan oppstå i langsgående studier - for eksempel studere utvikling der en måling gjentas etter en viss tid. Mangler oppstår når deltakerne faller ut før testen avsluttes og en eller flere målinger mangler.
Data mangler ofte innen forskning innen økonomi , sosiologi og statsvitenskap fordi myndigheter eller private enheter velger å ikke, eller unnlater å, rapportere kritisk statistikk, eller fordi informasjonen ikke er tilgjengelig. Noen ganger er manglende verdier forårsaket av forskeren - for eksempel når datainnsamlingen blir gjort feil eller det blir gjort feil i datainføringen.
Disse formene for mangel har forskjellige typer, med ulik innvirkning på gyldigheten av konklusjoner fra forskning: Mangler helt tilfeldig, mangler tilfeldig og mangler ikke tilfeldig. Manglende data kan håndteres på samme måte som sensurert data .
Typer
Å forstå årsakene til at data mangler er viktig for å håndtere de gjenværende dataene riktig. Hvis verdier mangler helt tilfeldig, er dataprøven sannsynligvis fortsatt representativ for befolkningen. Men hvis verdiene mangler systematisk, kan analysen være partisk. For eksempel, i en studie av forholdet mellom IQ og inntekt, hvis deltakere med en IQ over gjennomsnittet har en tendens til å hoppe over spørsmålet 'Hva er lønnen din?', Analyserer analyser som ikke tar hensyn til dette tilfeldig (MAR-mønster ( se nedenfor)) kan feilaktig mislykkes i å finne en positiv sammenheng mellom IQ og lønn. På grunn av disse problemene anbefaler metodologer rutinemessig forskere å designe studier for å minimere forekomsten av manglende verdier. Grafiske modeller kan brukes til å beskrive den manglende datamekanismen i detalj.
Savner helt tilfeldig
Verdier i et datasett mangler helt tilfeldig (MCAR) hvis hendelsene som fører til at et bestemt dataelement mangler er uavhengige både av observerbare variabler og ikke-observerbare parametere av interesse, og skjer helt tilfeldig. Når data er MCAR, er analysen som er utført på dataene upartisk; data er imidlertid sjelden MCAR.
Når det gjelder MCAR, er mangelen på data ikke relatert til noen studievariabel: Dermed er deltakerne med fullstendig observerte data i virkeligheten et tilfeldig utvalg av alle deltakerne som er tildelt en bestemt intervensjon. Med MCAR antas tilfeldig tildeling av behandlinger å være bevart, men det er vanligvis en urealistisk sterk antagelse i praksis.
Mangler tilfeldig
Manglende tilfeldig (MAR) oppstår når mangelen ikke er tilfeldig, men hvor mangelen fullt ut kan redegjøres for variabler der det er fullstendig informasjon. Siden MAR er en antagelse som er umulig å verifisere statistisk, må vi stole på at den er rimelig. Et eksempel er at menn er mindre sannsynlig å fylle ut en depresjonsundersøkelse, men dette har ingenting å gjøre med depresjonsnivået deres etter å ha tatt hensyn til mannelighet. Avhengig av analysemetoden kan disse dataene fortsatt indusere parameterskjevhet i analyser på grunn av kontingent tomhet i celler (mannlig, svært høy depresjon kan ha null oppføringer). Imidlertid, hvis parameteren er estimert med maksimal sannsynlighet for full informasjon, vil MAR gi asymptotisk upartiske estimater.
Savner ikke tilfeldig
Mangler ikke tilfeldig (MNAR) (også kjent som nonignorable nonresponse) er data som verken er MAR eller MCAR (dvs. verdien av variabelen som mangler er relatert til årsaken til at den mangler). For å utvide det forrige eksemplet, ville dette skje hvis menn ikke klarte å fylle ut en depresjonsundersøkelse på grunn av depresjonsnivået.
Teknikker for å håndtere manglende data
Manglende data reduserer utvalgets representativitet og kan derfor forvride slutninger om populasjonen. Generelt er det tre hovedmetoder for å håndtere manglende data: (1) Imputasjon - der verdier fylles i stedet for manglende data, (2) utelatelse - hvor prøver med ugyldige data blir kastet fra videre analyse og (3) analyse - ved å anvende metoder direkte påvirket av de manglende verdiene. En systematisk gjennomgang som omhandler forebygging og håndtering av manglende data for pasientsentrert resultatforskning, identifiserte 10 standarder som nødvendige for å forebygge og håndtere manglende data. Disse inkluderer standarder for studiedesign, studieoppførsel, analyse og rapportering.
I en praktisk anvendelse kan eksperimentatorene kontrollere mangelnivået og forhindre manglende verdier før de samler inn dataene. For eksempel er det ofte ikke mulig å hoppe over et spørsmål i spørreskjemaer på datamaskiner. Et spørsmål må besvares, ellers kan man ikke fortsette til det neste. Så manglende verdier på grunn av deltakeren elimineres av denne typen spørreskjemaer, selv om denne metoden kanskje ikke er tillatt av et etisk styre som overvåker forskningen. I undersøkelsesundersøkelser er det vanlig å gjøre flere anstrengelser for å kontakte hver enkelt i utvalget, og ofte sende brev for å prøve å overtale de som har bestemt seg for ikke å delta til å ombestemme seg. Imidlertid kan slike teknikker enten hjelpe eller skade når det gjelder å redusere de negative slutningseffektene av manglende data, fordi den typen mennesker som er villige til å bli overtalt til å delta etter at de først nektet eller ikke var hjemme, sannsynligvis vil være vesentlig forskjellige fra typen av mennesker som fortsatt vil nekte eller forbli utilgjengelige etter ytterligere innsats.
I situasjoner der det sannsynligvis vil oppstå manglende verdier, blir forskeren ofte informert om å planlegge å bruke metoder for dataanalysemetoder som er robuste for mangel. En analyse er robust når vi er sikre på at milde til moderate brudd på teknikkens viktigste forutsetninger vil gi liten eller ingen skjevhet eller forvrengning i konklusjonene om befolkningen.
Imputasjon
Noen dataanalyseteknikker er ikke robuste for mangel, og krever at de "fyller ut" eller tilregner de manglende dataene. Rubin (1987) hevdet at gjentakelse av imputasjon selv noen få ganger (5 eller færre) forbedrer estimeringskvaliteten enormt. For mange praktiske formål fanger 2 eller 3 imputasjoner det meste av den relative effektiviteten som kan fanges opp med et større antall imputasjoner. Imidlertid kan et for lite antall imputeringer føre til et betydelig tap av statistisk makt , og noen forskere anbefaler nå 20 til 100 eller mer. Enhver multiplisert imputert dataanalyse må gjentas for hvert av de tilregnede datasettene, og i noen tilfeller må den relevante statistikken kombineres på en relativt komplisert måte.
Den forventning-maksimering algoritmen er en fremgangsmåte i hvilken verdiene av de statistikk som ville bli beregnet dersom ikke et komplett datasett var tilgjengelige blir estimert (Beregnet), under hensyntagen til mønsteret av manglende data. I denne tilnærmingen blir vanligvis ikke verdier for individuelle manglende dataelementer beregnet.
Interpolasjon
I det matematiske feltet numerisk analyse er interpolasjon en metode for å konstruere nye datapunkter innenfor området til et diskret sett med kjente datapunkter.
I sammenligningen av to sammenkoblede prøver med manglende data, er en teststatistikk som bruker alle tilgjengelige data uten behov for imputasjon den delvis overlappende prøven t-test. Dette er gyldig under normalitet og forutsatt MCAR
Delvis sletting
Metoder som innebærer å redusere dataene som er tilgjengelige for et datasett som ikke mangler verdier, inkluderer:
- Sletting på sikt /sletting av bokstav
- Sletting parvis
Full analyse
Metoder som tar fullt hensyn til all tilgjengelig informasjon, uten at forvrengningen skyldes bruk av tilregnede verdier som om de faktisk ble observert:
- Generative tilnærminger:
- Den forventning-maksimering algoritmen
- full informasjon maximum likelihood estimering
- Diskriminerende tilnærminger:
- Maks. Marginklassifisering av data med fraværende funksjoner
Delvis identifiseringsmetoder kan også brukes.
Modellbaserte teknikker
Modellbaserte teknikker, som ofte bruker grafer, tilbyr tilleggsverktøy for å teste manglende datatyper (MCAR, MAR, MNAR) og for å estimere parametere under manglende dataforhold. For eksempel lyder en test for å tilbakevise MAR/MCAR som følger:
For alle tre variablene X, Y , og Z der Z er fullstendig observert og X og Y delvis observert, bør data som tilfredsstiller: .
Med ord, den observerte del av X skal være uavhengig av den missingness status av Y, betinget av hver verdi av Z . Unnlatelse av å oppfylle denne betingelsen indikerer at problemet tilhører MNAR -kategorien.
(Bemerkning: Disse testene er nødvendige for variabelbasert MAR, som er en liten variasjon av hendelsesbasert MAR.)
Når data faller inn i MNAR -kategorien er teknikker tilgjengelig for konsekvent estimering av parametere når visse forhold holder seg i modellen. For eksempel, hvis Y forklarer årsaken til mangel i X og Y har manglende verdier, kan den felles sannsynlighetsfordelingen for X og Y fortsatt estimeres hvis mangelen på Y er tilfeldig. Estimatet i dette tilfellet vil være:
hvor og angi de observerte delene av deres respektive variabler.
Ulike modellstrukturer kan gi forskjellige estimater og forskjellige estimeringsprosedyrer når konsistent estimering er mulig. De foregående estimand samtaler for først å estimere fra fullstendige data og multiplisere det med estimeres ut fra de tilfelle hvor Y er observert uavhengig av statusen av X . For å få et konsistent estimat er det dessuten avgjørende at den første termen er i motsetning til .
I mange tilfeller tillater modellbaserte teknikker modellstrukturen å gjennomgå motbevisningstester. En hvilken som helst modell som innebærer uavhengighet mellom et delvis observerte variable X og missingness indikator på en annen variabel Y (ie ), betinget av at den kan sendes til den følgende imøtegåelse test: .
Til slutt er estimatene som kommer fra disse teknikkene avledet i lukket form og krever ikke iterative prosedyrer, for eksempel Forventningsmaksimering som er utsatt for lokale optima.
En spesiell klasse problemer oppstår når sannsynligheten for savnet er avhengig av tid. For eksempel, i traumedatabasene, er sannsynligheten for å miste data om traumeutfallet avhengig av dagen etter traumet. I disse tilfellene brukes forskjellige ikke-stasjonære Markov - kjedemodeller .
Se også
Referanser
Videre lesning
- Acock AC (2005), "Working with missing values" , Journal of Marriage and Family , 67 (4): 1012–28, doi : 10.1111/j.1741-3737.2005.00191.x , arkivert fra originalen 2013-01 -05
- Allison, Paul D. (2001), Missing Data , SAGE Publishing
- Bouza-Herrera, Carlos N. (2013), Håndtering av manglende data i rangert settprøvetaking , Springer
- Enders, Craig K. (2010), Applied Missing Data Analysis , Guilford Press
- Graham, John W. (2012), Missing Data , Springer
- Molenberghs, Geert; Fitzmaurice, Garrett; Kenward, Michael G .; Tsiatis, Anastasios; Verbeke, Geert, red. (2015), Handbook of Missing Data Methodology , Chapman & Hall
- Raghunathan, Trivellore (2016), Missing Data Analysis in Practice , Chapman & Hall
- Little, Roderick JA; Rubin, Donald B. (2002), Statistical Analysis with Missing Data (2. utg.), Wiley
- Tsiatis, Anastasios A. (2006), Semiparametric Theory and Missing Data , Springer
- Van den Broeck J, Cunningham SA, Eeckels R, Herbst K (2005), "Datarensing: oppdager, diagnostiserer og redigerer dataunormaliteter ", PLOS Medicine , 2 (10): e267, doi : 10.1371/journal.pmed.0020267 , PMC 1198040 , PMID 16138788 , S2CID 5667073
- Zarate LE, Nogueira BM, Santos TR, Song MA (2006). "Teknikker for gjenoppretting av manglende verdi i ubalanserte databaser: Søknad i en markedsføringsdatabase med massiv manglende data". IEEE International Conference on Systems, Man and Cybernetics, 2006. SMC '06 . 3 . s. 2658–2664. doi : 10.1109/ICSMC.2006.385265 .
Eksterne linker
Bakgrunn
- Mangler verdier-forestillinger
- psychwiki.com: Verdier som mangler , identifiserer manglende verdier og håndterer manglende verdier
- missingdata.org.uk , Institutt for medisinsk statistikk, London School of Hygiene & Tropical Medicine
- Romlig og tidsmessig trendanalyse av langsiktige nedbørsrekorder i datafattige nedbørfelt med manglende data, en casestudie av Lower Shire flommark i Malawi for perioden 1953–2010. https://www.hydrol-earth-syst-sci-discuss.net/hess-2017-601/hess-2017-601.pdf
- R-miss-tastic , En enhetlig plattform for metoder og arbeidsflyter som mangler verdier.