Deinterlacing - Deinterlacing

Deinterlacing er prosessen med å konvertere sammenflettet video til en ikke-interlaced eller progressiv form. Interlaced videosignaler finnes ofte i analog fjernsyn , digital-TV ( HDTV ) i 1080i- format, noen DVD- titler og et mindre antall Blu-ray- plater.

En sammenflettet videoramme består av to felt tatt i rekkefølge: det første som inneholder alle oddetallene i bildet, og det andre alle de like linjene. Analog fjernsyn brukte denne teknikken fordi den tillot mindre overføringsbåndbredde samtidig som den holdt en høy bildefrekvens for jevnere og mer livaktig bevegelse. Et signal som ikke er sammenflettet (eller progressiv skanning ) som bruker samme båndbredde, oppdaterer bare skjermen halvparten så ofte og ble funnet å skape et opplevd flimring eller stamming. CRT-baserte skjermer var i stand til å vise sammenflettet video riktig på grunn av deres komplette analoge natur, og blandet inn de vekslende linjene sømløst. Siden begynnelsen av 2000 -tallet har imidlertid skjermer som fjernsyn og dataskjermer blitt nesten helt digitale - ved at skjermen består av diskrete piksler - og på slike skjermer blir sammenflettingen merkbar og kan virke som en distraherende synsfeil. Deinterlacing -prosessen bør prøve å minimere disse.

Deinterlacing er dermed en nødvendig prosess og kommer innebygd i de fleste moderne DVD-spillere, Blu-ray-spillere, LCD/LED-TVer, digitale projektorer, TV-set-top-bokser, profesjonelt kringkastingsutstyr og datavideospillere og redaktører-selv om hver med varierende kvalitetsnivå.

Deinterlacing har blitt forsket på i flere tiår og bruker komplekse behandlingsalgoritmer; Det har imidlertid vært svært vanskelig å oppnå konsekvente resultater.

Bakgrunn

Se også: Interlaced video
Eksempel på sammenflettet video (bremset ned)

Både video og fotografisk film fanger opp en rekke bilder (stillbilder) i rask rekkefølge; tv -systemer leser imidlertid det fangede bildet ved seriell skanning av bildesensoren etter linjer (rader). I analog fjernsyn er hver ramme delt inn i to påfølgende felt , ett som inneholder alle like linjer, et annet med de ulige linjene. Feltene fanges i rekkefølge med en hastighet som er dobbelt så høy som den nominelle bildefrekvensen. For eksempel har PAL- og SECAM -systemer en hastighet på 25 bilder/sek eller 50 felt/sek, mens NTSC -systemet leverer 29,97 bilder/sek eller 59,94 felt/sek. Denne prosessen med å dele rammer i halvoppløselige felt ved dobbel bildefrekvens er kjent som sammenfletting .

Siden det sammenflettede signalet inneholder de to feltene i en videoramme som er tatt på to forskjellige tidspunkter, forbedrer det bevegelsesoppfatningen for betrakteren og reduserer flimmer ved å dra fordel av visjonseffekten . Dette resulterer i en effektiv dobling av tidsoppløsningen sammenlignet med opptak som ikke er sammenflettet (for bildefrekvenser lik feltfrekvenser). Imidlertid krever sammenflettet signal en skjerm som opprinnelig er i stand til å vise de enkelte feltene i rekkefølge, og bare tradisjonelle CRT -baserte TV -apparater er i stand til å vise sammenflettet signal på grunn av elektronisk skanning og mangel på tilsynelatende fast oppløsning.

De fleste moderne skjermer, for eksempel LCD- , DLP- og plasmaskjermer , kan ikke fungere i sammenflettet modus, fordi de er skjermer med fast oppløsning og bare støtter progressiv skanning. For å vise sammenflettet signal på slike skjermer, må de to sammenflettede feltene konverteres til en progressiv ramme med en prosess som kalles de-interlacing . Men når de to feltene tatt på forskjellige tidspunkter blir kombinert på nytt til en hel ramme som vises på en gang, oppstår det visuelle defekter som kalles interlace-artefakter eller kamning med objekter i bevegelse. En god deinterlacing -algoritme bør prøve å unngå sammenfletting av artefakter så mye som mulig og ikke ofre bildekvaliteten i prosessen, noe som er vanskelig å oppnå konsekvent. Det er flere tilgjengelige teknikker som ekstrapolerer den manglende bildeinformasjonen, men de faller heller i kategorien intelligent rammelagring og krever komplekse algoritmer og betydelig prosessorkraft.

Deinterlacing -teknikker krever kompleks behandling og kan dermed føre til en forsinkelse i videostrømmen. Selv om det generelt ikke er merkbart, kan dette føre til at visningen av eldre videospill henger etter kontrollerinngang. Mange TVer har dermed en "spillmodus" der minimal behandling utføres for å maksimere hastigheten på bekostning av bildekvaliteten. Deinterlacing er bare delvis ansvarlig for slik etterslep; skalering innebærer også komplekse algoritmer som tar millisekunder å kjøre.

Progressivt kildemateriale

Hovedartikkel: Telecine

Enkelte sammenflettet video kan opprinnelig ha blitt opprettet fra progressive opptak, og deinterlacing -prosessen bør også vurdere dette.

Typisk filmmateriale er skutt på 24 bilder/s film. Konvertering av film til sammenflettet video bruker vanligvis en prosess som kalles telecine, hvor hver ramme konverteres til flere felt. I noen tilfeller kan hver filmramme presenteres av nøyaktig to progressive segmenterte rammer (PsF), og i dette formatet krever det ikke en kompleks deinterlacing -algoritme fordi hvert felt inneholder en del av den samme progressive rammen. For å matche 50 felt sammenflettet PAL/SECAM eller 59,94/60 felt sammenflettet NTSC -signal, er bildefrekvenskonvertering nødvendig ved bruk av forskjellige "nedtrekks" teknikker. De fleste avanserte TV -apparater kan gjenopprette det originale 24 bilde/s -signalet ved hjelp av en invers telecine -prosess. Et annet alternativ er å øke hastigheten på 24 bilder med 4% (til 25 bilder/s) for PAL/SECAM-konvertering; denne metoden er fortsatt mye brukt for DVDer, så vel som fjernsynssendinger (SD & HD) i PAL -markedene.

DVDer kan enten kode filmer ved å bruke en av disse metodene, eller lagre original 24 bilder/s progressiv video og bruke MPEG-2 dekoder-tagger for å instruere videospilleren i hvordan de konverteres til interflettet format. De fleste filmer på Blu-stråler har bevart den originale filmfrekvensen på 24 bilder/sek. Som ikke er sammenflettet og tillater utgang i det progressive 1080p24-formatet direkte til skjermenheter, uten at det er nødvendig med konvertering.

Noen 1080i HDV-videokameraer tilbyr også PsF-modus med kinolignende bildefrekvenser på 24 eller 25 bilder/s. TV -produksjonsmannskap kan også bruke spesielle filmkameraer som opererer med 25 eller 30 bilder/s, der slikt materiale ikke trenger framerate -konvertering for kringkasting i det tiltenkte videosystemformatet.

Deinterlacing -metoder

Når noen ser sammenflettet video på en progressiv skjerm med dårlig deinterlacing, kan de se "kamning" i bevegelse mellom to felt i en ramme.

Deinterlacing krever at skjermen bufrer ett eller flere felt og rekombinerer dem til hele rammer. I teorien ville dette være så enkelt som å fange ett felt og kombinere det med det neste feltet som skal mottas, og produsere en enkelt ramme. Imidlertid ble det opprinnelig registrerte signalet produsert fra to felt på forskjellige tidspunkter, og uten spesiell behandling resulterer noen bevegelse over feltene vanligvis i en "kamning" -effekt der alternative linjer blir litt forskjøvet fra hverandre.

Det er forskjellige metoder for å avflette video, som hver produserer forskjellige problemer eller egne artefakter . Noen metoder er mye renere i artefakter enn andre metoder.

De fleste deinterlacing -teknikkene faller inn under tre brede grupper:

  1. Feltkombinasjon deinterlacing som tar de jevne og odde feltene og kombinerer dem i en ramme. Dette halverer den oppfattede bildefrekvensen (tidsoppløsningen) der 50i eller 60i konverteres til 25p eller 30p.
  2. Deinterlacing av feltforlengelse som tar hvert felt (med bare halve linjene) og utvider det til hele skjermen for å lage en ramme. Dette halverer den vertikale oppløsningen til bildet, men opprettholder den opprinnelige feltfrekvensen (50i eller 60i konverteres til 50p eller 60p).
  3. Bevegelseskompensasjon deinterlacing som bruker mer avanserte algoritmer for å oppdage bevegelse på tvers av felt, bytte teknikker når det er nødvendig. Dette gir det beste kvalitetsresultatet, men krever mest prosessorkraft.

Moderne deinterlacing -systemer buffer derfor flere felt og bruker teknikker som kantdeteksjon i et forsøk på å finne bevegelsen mellom feltene. Dette brukes deretter til å interpolere de manglende linjene fra det opprinnelige feltet, og redusere kameffekten.

Feltkombinasjon deinterlacing

Disse metodene tar de jevne og odde feltene og kombinerer dem til en ramme. De beholder hele den vertikale oppløsningen på bekostning av den tidsmessige oppløsningen (oppfattet bildefrekvens), hvorved 50i/60i konverteres til 24p/25p/30p som kan miste originalens jevne, flytende følelse. Men hvis det sammenflettede signalet opprinnelig ble produsert fra en lavere bildefrekvenskilde, for eksempel film, går ingen informasjon tapt, og disse metodene kan være tilstrekkelige.

Veving
  • Veving er den enkleste og mest rudimentære metoden, utført ved å sammenflate ("vevde") de påfølgende feltene sammen til en enkelt ramme. Denne metoden forårsaker ingen problemer når bildet ikke har endret seg mellom feltene, men enhver bevegelse vil resultere i artefakter som kalles "kamning" når pikslene i det ene feltet ikke er i tråd med pikslene i det andre, og danner en hakket kant.
Blanding
  • Blanding utføres ved å blande eller gjennomsnittlig påfølgende felt som skal vises som en ramme. Kamming unngås fordi bildene ligger oppå hverandre. Dette etterlater i stedet en artefakt kjent som spøkelse. Bildet mister både vertikal oppløsning og tidsoppløsning. Selv om video produsert med denne teknikken bare krever halvparten av antall piksler vertikalt, kombineres den ofte med en vertikal størrelse slik at utgangen ikke har et numerisk tap i vertikale piksler. Når interpolasjon brukes, kan det resultere i et enda mykere bilde. Blanding mister også halve tidsoppløsningen siden to bevegelsesfelt kombineres til en ramme.
  • Selektiv blanding , eller smart blanding eller bevegelsesadaptiv blanding , er en kombinasjon av veving og blanding. Siden områder som ikke har endret seg fra ramme til ramme ikke trenger noen behandling, er rammene vevd og bare områdene som trenger det blandes. Dette beholder hele den vertikale oppløsningen og halve den tidsmessige oppløsningen, og den har færre artefakter enn veving eller blanding på grunn av den selektive kombinasjonen av begge teknikkene.
  • Inverse Telecine : Telecine brukes til å konvertere en filmkilde med 24 bilder per sekund til sammenflettet TV -video i land som bruker NTSC -videosystem med 30 bilder per sekund. Land som bruker PAL med 25 bilder per sekund, krever ikke Telecine - filmkilder øker bare 4% for å oppnå de nødvendige 25 bildene per sekund. Hvis Telecine ble brukt, er det mulig å reversere algoritmen for å få de originale, ikke-sammenflettede opptakene, som har en lavere bildefrekvens. For at dette skal fungere, må det eksakte telecine -mønsteret være kjent eller gjettet. I motsetning til de fleste andre deinterlacing -metoder kan invers telecine når den fungerer perfekt gjenopprette den opprinnelige progressive videostrømmen.
  • Telecide-stil algoritmer: Hvis de sammenflettede opptakene ble generert fra progressive rammer med en lavere bildefrekvens (f.eks. "Tegneserie nedtrekksliste"), kan de eksakte originale bildene gjenopprettes ved å kopiere det manglende feltet fra en matchende forrige/neste ramme. I tilfeller der det ikke er noen match (f.eks. Korte tegneseriesekvenser med forhøyet bildefrekvens), faller filteret tilbake på en annen deinterlacing-metode som blanding eller linjedobling. Dette betyr at det verste tilfellet for Telecide er sporadiske rammer med spøkelser eller redusert oppløsning. Derimot, når mer sofistikerte bevegelsesdeteksjonsalgoritmer mislykkes, kan de introdusere pikselartefakter som er utro mot det opprinnelige materialet. For telecine- video kan desimering brukes som en etterprosess for å redusere bildefrekvensen, og denne kombinasjonen er generelt mer robust enn en enkel invers telecine, som mislykkes når forskjellig sammenflettet opptak er spleiset sammen.

Feltforlengelse deinterlacing

Disse metodene tar hvert felt (med bare halvparten av linjene) og utvider det til hele skjermen for å lage en ramme. Dette kan halvere den vertikale oppløsningen til bildet, men har som mål å opprettholde den opprinnelige feltfrekvensen (50i eller 60i konverteres til 50p eller 60p).

Halvstørrelse
  • Halvstørrelse viser hvert sammenflettet felt på egen hånd, noe som resulterer i en video med halvparten av den vertikale oppløsningen til originalen, uten skalering. Selv om denne metoden beholder alle originale piksler og all tidsoppløsning, brukes den forståelig nok ikke til vanlig visning på grunn av det falske sideforholdet. Imidlertid kan den vellykket brukes til å bruke videofiltre som forventer en ikke -interlaced ramme, for eksempel de som utnytter informasjon fra nabopiksler (f.eks. Skarphet).
Linjedobling
  • Linjedobling eller "bobbing" tar linjene i hvert sammenflettet felt (bestående av bare like eller oddetall) og dobler dem og fyller hele rammen. Dette resulterer i at videoen har en bildefrekvens som er identisk med den opprinnelige feltfrekvensen, men hver ramme har halvparten av den vertikale oppløsningen eller oppløsningen som er lik den for hvert felt som rammen ble laget av. Linjedobling forhindrer greing av artefakter og opprettholder jevn bevegelse, men kan forårsake en merkbar reduksjon i bildekvaliteten fra tap av vertikal oppløsning og visuelle anomalier der stasjonære objekter kan se ut til å vippe opp og ned etter hvert som oddetall og partall blir vekslet. Disse teknikkene kalles også bob deinterlacing og lineær deinterlacing av denne grunn. En variant av denne metoden kasserer ett felt ut av hver ramme, og halverer tidsoppløsningen.

Linjedobling blir noen ganger forvekslet med deinterlacing generelt, eller med interpolasjon (bildeskala) som bruker romlig filtrering for å generere ekstra linjer og dermed redusere synligheten av pixelasjon på alle typer display. Terminologien 'line doubler' brukes oftere i high -end forbrukerelektronikk, mens 'deinterlacing' brukes oftere i datamaskinen og digital videoarena.

Beinterkompensasjon deinterlacing

Mer avanserte deinterlacing -algoritmer kombinerer de tradisjonelle feltkombinasjonsmetodene (veving og blanding) og rammeforlengelsesmetoder (bob eller linjedobling) for å lage en progressiv videosekvens av høy kvalitet. Et av de grunnleggende hintene til retningen og mengden bevegelse vil være retningen og lengden på kamgjenstander i det sammenflettede signalet.

De beste algoritmene prøver også å forutsi retningen og mengden bildebevegelse mellom påfølgende felt for bedre å blande de to feltene sammen. De kan bruke algoritmer som ligner på blokkbevegelseskompensasjon som brukes i videokomprimering. For eksempel, hvis to felt hadde ansiktet til en person i bevegelse til venstre, ville veving skape kam, og blanding ville skape spøkelse. Avansert bevegelseskompensasjon (ideelt sett) ville se at ansiktet i flere felt er det samme bildet, bare flyttet til en annen posisjon, og ville prøve å oppdage retning og mengde av slik bevegelse. Algoritmen ville deretter prøve å rekonstruere hele detaljen i ansiktet i begge utgangsrammer ved å kombinere bildene sammen, bevege deler av hvert felt langs den detekterte retningen av den oppdagede bevegelsesmengden. Deinterlacere som bruker denne teknikken er ofte overlegne fordi de kan bruke informasjon fra mange felt, i motsetning til bare ett eller to, men de krever kraftig maskinvare for å oppnå dette i sanntid.

Bevegelseskompensasjon må kombineres med deteksjon av sceneskift (som har sine egne utfordringer), ellers prøver den å finne bevegelse mellom to helt forskjellige scener. En dårlig implementert algoritme for bevegelseskompensasjon ville forstyrre naturlig bevegelse og kunne føre til visuelle artefakter som manifesterer seg som "hoppende" deler i det som skal være et stillestående eller et jevnt bevegelig bilde.

Kvalitetsmåling

Ulike deinterlacing -metoder har forskjellige kvalitets- og hastighetskarakteristikker.

Vanligvis brukes følgende tilnærming for å måle kvaliteten på deinterlacing -metoden:

  1. Et sett med progressive videoer er sammensatt
  2. Alle disse videoene er sammenflettet
  3. Hver av sammenflettede videoer deinterlaced med spesifikk deinterlacing metode
  4. Alle deinterlaced videoene blir sammenlignet med den tilsvarende kildevideoen via objektiv videokvalitetsmåling, for eksempel PSNR , SSIM eller VMAF .

Hovedhastighetsmåling er bilder per sekund (FPS) - hvor mange bilder deinterlacer kan behandle per sekund. Når vi snakker om FPS, er det nødvendig å spesifisere oppløsningen til alle rammer og maskinvarekarakteristikker, fordi hastigheten til spesifikk deinterlacing -metode avhenger vesentlig av disse to faktorene.

Benchmarks

Deinterlacing Challenge 2019

Denne referansen har sammenlignet 8 forskjellige deinterlacing -metoder på en syntetisk video. Det er en bevegelig tredimensjonal Lissajous-kurve på videoen for å gjøre den utfordrende for de moderne deinterlacing-metodene. Forfatterne brukte MSE og PSNR som objektive beregninger. De måler også behandlingshastigheten i FPS . For noen metoder er det bare visuell sammenligning, for andre - bare objektiv.

En annen algoritme for Deinterlacing Challenge 2019
Algoritme MSE PSNR Behandlingshastighet
(FPS)		 Åpen kilde
Vegas De-interlace Blend 8.086 43,594 3.53 Nei
Vegas De-interlace Interpolate 16.426 41,292 3.58 Nei

MSU Deinterlacer Benchmark

Denne referansen har sammenlignet mer enn 20 metoder på 40 videosekvenser. Total lengde på sekvensene er 834 bilder. Forfatterne uttaler at hovedtrekk ved denne referansen er den omfattende sammenligningen av metoder med visuelle sammenligningsverktøy, ytelsesplott og parameterjustering. Forfattere brukte PSNR og SSIM som objektive beregninger.

Toppalgoritmer for MSU DIB
Algoritme PSNR SSIM Behandlingshastighet
(FPS)		 Åpen kilde
MSU Deinterlacer 40.708 0,983 1.3 Nei
VapourSynth TDeintMod 39.916 0,977 50,29 Ja
NNEDI 39,625 0,978 1,91 Ja
FFmpeg Bob Weaver Deinterlacing Filter 39.679 0,976 46,45 Ja
Vapoursynth EEDI3 39.373 0,977 51,9 Ja
Deinterlacer i sanntid 39.203 0,976 0,27 Ja

VapourSynth TDeintMod-forfatter sier at det er toveis bevegelsesadaptiv deinterlacer. NNEDI -metoden bruker et nevrale nettverk for å avflette videosekvenser. FFmpeg Bob Weaver Deinterlacing Filter er en del av velkjent rammeverk for video- og lydbehandling. Vapoursynth EEDI3 er forkortelsen for "forbedret kantstyrt interpolasjon 3", forfattere av denne metoden uttaler at den fungerer ved å finne den beste ikke-avtagende vridningen mellom to linjer i henhold til en kostnadsfunksjonell. Forfatterne av Real-Time Deep Video Deinterlacer bruker Deep CNN for å få den beste kvaliteten på utgående video.

Hvor deinterlacing utføres

Deinterlacing av et sammenflettet videosignal kan gjøres på forskjellige punkter i TV -produksjonskjeden.

Progressive medier

Deinterlacing er nødvendig for interlaced arkivprogrammer når kringkastingsformatet eller medieformatet er progressivt, som i EDTV 576p eller HDTV 720p50 kringkasting, eller mobil DVB-H kringkasting; det er to måter å oppnå dette på.

  • Produksjon - Det sammenflettede videomaterialet konverteres til progressiv skanning under programproduksjon. Dette bør vanligvis gi best mulig kvalitet, ettersom videografer har tilgang til dyrt og kraftig deinterlacing -utstyr og programvare og kan avflette med best mulig kvalitet, sannsynligvis manuelt velge den optimale deinterlacing -metoden for hvert bilde.
  • Kringkasting -Sanntids deinterlacing-maskinvare konverterer interlaced programmer til progressiv skanning umiddelbart før kringkasting. Siden behandlingstiden er begrenset av bildefrekvensen og ingen menneskelig innspill er tilgjengelig, er kvaliteten på konvertering mest sannsynlig dårligere enn forproduksjonsmetoden; dyrt og høytytende deinterlacing-utstyr kan imidlertid fortsatt gi gode resultater når det er riktig innstilt.

Interlaced media

Når kringkastingsformatet eller medieformatet er sammenflettet, bør de-interlacing i sanntid utføres av innebygde kretser i en set-top-boks, fjernsyn, ekstern videoprosessor, DVD- eller DVR-spiller eller TV-tunerkort. Siden forbrukerelektronikkutstyr vanligvis er langt billigere, har betydelig mindre prosessorkraft og bruker enklere algoritmer sammenlignet med profesjonelt deinterlacing-utstyr, kan kvaliteten på deinterlacing variere stort og typiske resultater er ofte dårlige selv på high-end utstyr.

Ved å bruke en datamaskin for avspilling og/eller prosessering er det mulig at et bredere valg av videospillere og/eller redigeringsprogramvare ikke er begrenset til kvaliteten som tilbys av den innebygde forbrukerelektronikk -enheten, så i det minste er teoretisk høyere kvalitet for avveksling mulig - spesielt hvis brukeren kan forhåndskonvertere sammenflettet video til progressiv skanning før avspilling og avanserte og tidkrevende deinterlacing-algoritmer (dvs. ved bruk av "produksjons" -metoden).

Kvaliteten på både gratis og kommersiell programvare for forbrukerkvalitet er imidlertid ikke nødvendigvis på nivå med profesjonell programvare og utstyr. De fleste brukere er heller ikke opplært i videoproduksjon; Dette forårsaker ofte dårlige resultater, ettersom mange mennesker ikke vet mye om deinterlacing og ikke er klar over at bildefrekvensen er halvparten av feltfrekvensen. Mange kodeker/spillere avinstallerer ikke engang alene og stoler på grafikkortet og videoaccelerasjon API for å gjøre riktig avinterlacing.

Bekymringer over effektivitet

Den EBU har anført mot bruk av video med linjesprang i produksjon og kringkasting, anbefale 720p 50 fps (rammer per sekund) som løpende produksjon format og som arbeider med næringen for å innføre 1080p 50 som en fremtidsrettet produksjon standard som gir de store vertikale oppløsning, bedre kvalitet ved lavere bithastigheter og enklere konvertering til andre formater som 720p50 og 1080i50. Hovedargumentet er at uansett hvor kompleks deinterlacing -algoritmen kan være, kan artefaktene i interlaced -signalet ikke elimineres fullstendig fordi noe informasjon går tapt mellom rammer.

Yves Faroudja , grunnleggeren av Faroudja Labs og Emmy Award -vinneren for sine prestasjoner innen deinterlacing -teknologi, har uttalt at "interlace to progressive does not work" og frarådet å bruke sammenflettet signal.

Se også

Referanser

Eksterne linker