Bayer filter - Bayer filter
En Bayer-filtermosaikk er et fargefilterarray (CFA) for å arrangere RGB- fargefiltre på et firkantet rutenett med fotosensorer. Den spesielle ordningen med fargefiltre brukes i de fleste digitale chips med én chip, som brukes i digitale kameraer, videokameraer og skannere for å lage et fargebilde. Filtermønsteret er halvgrønt , en fjerdedel rødt og en fjerdedel blått, og kalles derfor også BGGR, RGBG , GRBG eller RGGB .
Den er oppkalt etter oppfinneren, Bryce Bayer fra Eastman Kodak . Bayer er også kjent for sin rekursivt definerte matrise som brukes i ordnet dithering .
Alternativer til Bayer-filteret inkluderer både forskjellige modifikasjoner av farger og arrangement og helt forskjellige teknologier, for eksempel prøvetaking av fargesamfunn , Foveon X3-sensoren , de dikroiske speilene eller et gjennomsiktig diffraktivt filterarray.
Forklaring
- Original scene
- Utgang fra en sensor på 120 × 80 piksler med et Bayer-filter
- Output fargekodet med Bayer filterfarger
- Rekonstruert bilde etter interpolering av manglende fargeinformasjon
- Full RGB-versjon med 120 × 80 piksler for sammenligning (f.eks. Som filmskanning , Foveon eller pixel shift- bilde kan vises)
Bryce Bayers patent (US patent nr. 3 971 065) i 1976 kalte de grønne fotosensorene lysfølsomhetselementer og de røde og blå krominansfølsomme elementene . Han brukte dobbelt så mange grønne elementer som rødt eller blått for å etterligne fysiologien til det menneskelige øye . Luminansoppfatningen av den menneskelige netthinnen bruker M- og L- konusceller kombinert, i dagslys, som er mest følsomme for grønt lys. Disse elementer er referert til som følerelementer , sensels , pixelsensor , eller ganske enkelt bildepunkter ; Eksempelverdier registrert av dem, etter interpolasjon, blir bildepiksler . Da Bayer registrerte sitt patent, foreslo han også å bruke en cyan-magenta-gul kombinasjon, det er et annet sett med motsatte farger. Denne ordningen var upraktisk på den tiden fordi de nødvendige fargestoffene ikke eksisterte, men brukes i noen nye digitale kameraer. Den store fordelen med de nye CMY-fargestoffene er at de har en forbedret lysabsorpsjonskarakteristikk; det vil si at deres kvanteeffektivitet er høyere.
Den rå Utgangen fra Bayer-filter kameraene er referert til som en Bayer bilde. Siden hver piksel er filtrert for å ta opp bare en av tre farger, kan ikke dataene fra hver piksel spesifisere hver av de røde, grønne og blå verdiene alene. For å få et fullfargebilde kan forskjellige demosaiseringsalgoritmer brukes til å interpolere et sett med komplette røde, grønne og blå verdier for hver piksel. Disse algoritmene bruker de omkringliggende pikslene i de tilsvarende fargene for å estimere verdiene for en bestemt piksel.
Ulike algoritmer som krever forskjellige mengder datakraft, resulterer i endelige bilder av varierende kvalitet. Dette kan gjøres i kameraet, og produsere et JPEG- eller TIFF- bilde, eller utenfor kameraet ved å bruke rådata direkte fra sensoren. Siden prosessorkraften til kameraprosessoren er begrenset, foretrekker mange fotografer å utføre disse operasjonene manuelt på en personlig datamaskin. Jo billigere kameraet, jo færre muligheter for å påvirke disse funksjonene. I profesjonelle kameraer er bildekorrigeringsfunksjoner helt fraværende, eller de kan slås av. Opptak i Raw-format gir muligheten til å velge demosaiseringsalgoritme manuelt og kontrollere transformasjonsparametrene, som ikke bare brukes i forbrukerfotografering, men også i å løse forskjellige tekniske og fotometriske problemer.
Demosaicing
Demosering kan utføres på forskjellige måter. Enkle metoder interpolerer fargeverdien til pikslene med samme farge i nabolaget. For eksempel, når brikken har blitt eksponert for et bilde, kan hver piksel leses. En piksel med et grønt filter gir en nøyaktig måling av den grønne komponenten. De røde og blå komponentene for denne pikselet er hentet fra naboene. For en grønn piksel kan to røde naboer interpoleres for å gi den røde verdien, også to blå piksler kan interpoleres for å gi den blå verdien.
Denne enkle tilnærmingen fungerer bra i områder med konstant farge eller glatte gradienter, men det kan forårsake gjenstander som fargeblødning i områder der det er brå endringer i farge eller lysstyrke, spesielt merkbare langs skarpe kanter i bildet. På grunn av dette prøver andre demosaiseringsmetoder å identifisere kanter med høy kontrast og bare interpolere langs disse kantene, men ikke over dem.
Andre algoritmer er basert på antagelsen om at fargen på et område i bildet er relativt konstant selv under skiftende lysforhold, slik at fargekanalene er sterkt korrelert med hverandre. Derfor blir den grønne kanalen interpolert først så den røde og deretter den blå kanalen, slik at fargeforholdet rødgrønt respektive blågrønt er konstant. Det er andre metoder som gjør forskjellige forutsetninger om bildeinnholdet og starter fra dette forsøket på å beregne de manglende fargeværdiene.
Gjenstander
Bilder med små detaljer i nærheten av oppløsningsgrensen til den digitale sensoren kan være et problem for demosaiseringsalgoritmen, og produsere et resultat som ikke ser ut som modellen. Den hyppigste gjenstanden er Moiré , som kan se ut som gjentakende mønstre, fargegjenstander eller piksler arrangert i et urealistisk labyrintlignende mønster.
Falske artefakter i farger
En vanlig og uheldig gjenstand for Color Filter Array (CFA) interpolering eller demosaisering er det som er kjent og sett på som falsk farging. Vanligvis manifesterer denne gjenstanden seg langs kanter, der brå eller unaturlige fargeskift oppstår som et resultat av feilinterpolering over, snarere enn langs en kant. Det finnes forskjellige metoder for å forhindre og fjerne denne falske fargen. Jevn fargetoneovergangsinterpolering brukes under demosaiseringen for å forhindre at falske farger manifesterer seg i det endelige bildet. Imidlertid er det andre algoritmer som kan fjerne falske farger etter demosaisering. Disse har fordelen av å fjerne falske fargeartefakter fra bildet mens du bruker en mer robust demosaiseringsalgoritme for å interpolere de røde og blå fargeflakene.
Glidelås gjenstand
Glidelåsartefakten er en annen bivirkning av CFA-demosaisering, som også hovedsakelig forekommer langs kanter, er kjent som glidelåseffekten. Enkelt sagt, glidelås er et annet navn for kantskarphet som forekommer i et av / på-mønster langs en kant. Denne effekten oppstår når demosaiseringsalgoritmen er gjennomsnittlig av pikselverdier over en kant, spesielt i det røde og blå planet, noe som resulterer i dens karakteristiske uskarphet. Som nevnt tidligere, er de beste metodene for å forhindre denne effekten de forskjellige algoritmene som interpolerer langs, i stedet for på tvers av bildekanter. Interpolering av mønstergjenkjenning, interpolasjon av adaptivt fargeplan og interpolasjon med retningsvekt, prøver alle å forhindre glidelås ved å interpolere langs kanter oppdaget i bildet.
Imidlertid, selv med en teoretisk perfekt sensor som kunne fange og skille alle farger på hver fotoside, kan Moiré og andre gjenstander fremdeles vises. Dette er en uunngåelig konsekvens av ethvert system som sampler et ellers kontinuerlig signal med diskrete intervaller eller steder. Av denne grunn inneholder de fleste fotografiske digitale sensorer noe som kalles et optisk lavpassfilter (OLPF) eller et anti-aliasing (AA) filter . Dette er vanligvis et tynt lag rett foran sensoren, og fungerer ved å uskarpe alle potensielt problematiske detaljer som er finere enn sensorens oppløsning.
Modifikasjoner
Bayer-filteret er nesten universelt på forbrukerens digitale kameraer. Alternativene inkluderer CYGM-filteret ( cyan , gult , grønt, magenta ) og RGBE-filteret (rød, grønn, blå, smaragd ), som krever lignende demosaisering. Den Foveon X3 sensor (som lag røde, grønne og blå sensorer vertikalt i stedet for ved hjelp av en mosaikk) og anordninger av tre separate CCD (en for hver farge) trenger ikke demosaicing.
"Panchromatic" celler
14. juni 2007 kunngjorde Eastman Kodak et alternativ til Bayer-filteret: et fargefiltermønster som øker lysfølsomheten til bildesensoren i et digitalt kamera ved å bruke noen "panchromatic" celler som er følsomme for alle synlige bølgelengder. lys og samle inn en større mengde lys som treffer sensoren. De presenterer flere mønstre, men ingen med en repeterende enhet så liten som Bayer-mønsterets 2 × 2-enhet.
En annen amerikansk patentinnlevering fra 2007, av Edward T. Chang, hevder en sensor der "fargefilteret har et mønster som består av 2 × 2 blokker av piksler sammensatt av en rød, en blå, en grønn og en gjennomsiktig piksel," i en konfigurasjon ment å inkludere infrarød følsomhet for høyere total følsomhet. Kodak-patentinnleveringen var tidligere.
Slike celler har tidligere blitt brukt i " CMYW " (cyan, magenta, gul og hvit) "RGBW" (rød, grønn, blå, hvit) sensor, men Kodak har ikke sammenlignet det nye filtermønsteret med dem ennå.
Fujifilm "EXR" fargefilter array
Fujifilms EXR-fargefilterarray er produsert i både CCD ( SuperCCD ) og CMOS (BSI CMOS). Som med SuperCCD, roteres selve filteret 45 grader. I motsetning til konvensjonelle Bayer-filterdesign er det alltid to tilstøtende fotosider som oppdager samme farge. Hovedårsaken til denne typen matriser er å bidra til piksel "binning", der to tilstøtende fotosider kan slås sammen, noe som gjør sensoren selv mer "følsom" for lys. En annen grunn er at sensoren registrerer to forskjellige eksponeringer, som deretter slås sammen for å produsere et bilde med større dynamisk område. Det underliggende kretsløpet har to utlesningskanaler som tar informasjonen fra alternative rader av sensoren. Resultatet er at det kan fungere som to sammenflettede sensorer, med forskjellige eksponeringstider for hver halvdel av fotosidene. Halvparten av fotosidene kan med vilje bli undereksponert, slik at de fanger opp de lysere områdene på scenen. Denne beholdte høydepunktinformasjonen kan deretter blandes inn med utgangen fra den andre halvdelen av sensoren som tar opp en 'full' eksponering, og igjen bruker den tette avstanden til lignende fargede fotosider.
Fujifilm "X-Trans" filter
Fujifilm X-Trans CMOS-sensoren som brukes i mange Fujifilm X-serie kameraer, hevdes å gi bedre motstand mot fargemiré enn Bayer-filteret, og som sådan kan de lages uten et anti-aliasing-filter. Dette tillater igjen kameraer som bruker sensoren for å oppnå en høyere oppløsning med samme megapikselantall. Det hevdes også at den nye designen reduserer forekomsten av falske farger ved å ha røde, blå og grønne piksler i hver linje. Arrangementet av disse pikslene sies også å gi korn mer som film.
En av hoved ulempene er at støtte for egendefinerte mønsteret kan mangle full støtte i tredjeparts rå prosessering programvare som Adobe Photoshop Lightroom der legger forbedringer tok flere år.
Quad Bayer
Sony introduserte Quad Bayer fargefilter array, som først ble omtalt i Huawei P20 Pro utgitt 27. mars 2018. Quad Bayer ligner Bayer filter, men tilstøtende 2x2 piksler er i samme farge, 4x4 mønsteret har 4x blå, 4x rød, og 8x grønt. For mørkere scener kan signalbehandling kombinere data fra hver 2x2-gruppe, egentlig som en større piksel. For lysere scener kan signalbehandling konvertere Quad Bayer til et konvensjonelt Bayer-filter for å oppnå høyere oppløsning. Pikslene i Quad Bayer kan brukes i langvarig integrasjon og korttidsintegrasjon for å oppnå HDR med enkelt skudd, noe som reduserer blandingsproblemer. Quad Bayer er også kjent som Tetracell av Samsung og 4-cellers av OmniVision .
26. mars 2019 ble Huawei P30-serien kunngjort med RYYB Quad Bayer, med 4x4-mønsteret med 4x blå, 4x rød og 8x gul.
Nonacell
12. februar 2020 ble Samsung Galaxy S20 Ultra kunngjort med Nonacell CFA. Nonacell CFA ligner Bayer-filteret, men tilstøtende 3x3 piksler har samme farge, 6x6-mønsteret har 9x blå, 9x rød og 18x grønn.
Se også
Referanser
- US patent 3971065 , Bryce E. Bayer, "Color imaging array", utstedt 1976-07-20 på nettet
Merknader
Eksterne linker
- RGB "Bayer" Color and MicroLenses , Silicon Imaging (design, produksjon og markedsføring av HD-digitale kameraer og bildebehandlingsløsninger)
- eLynx bildebehandlingsbibliotek , stort sett med Bayer-kildekode for mosaikkmanipulering lisensiert under GPL
- Effektiv Bayer-demosaikkfiltrering av høy kvalitet på GPUer
- Globalt datasyn
- Gjennomgang av Bayer Pattern Color Filter Array (CFA) Demosaicing med nye kvalitetsvurderingsalgoritmer
- Digitalkamerasensorer