NO301307B1 - Videobildebehandling - Google Patents

Description

Oppfinnelsen angår videobildebehandling og mer spesielt tilordningen av bevegelsesvektor som angir retningen og størrelsen av tilsynelatende bevegelse for forskjellige områder av bildet som hjelp ved genereringen av ønskede utgangsbilder

Søkerens GB-PS nr. 2 188 510 og BBC Research Department Report RD 1987/11 beskriver en fremgangsmåte til behandling av et videobilde for å skaffe en liste over bevegelsesvektorer som kan anvendes over hele området og hvorav én kan anses å angå hvert område av bildet. Andre fremgangsmåter er også mulig for å generere en slik liste over bevegelsesvektorer. Ved å bruke slike vektorer er det nødvendig å velge hvilken av disse vektorene som kan angå gitte områder av bildet. Hvert område kan være så lite som et bildeelement (piksel) eller kan bestå av en rekke bildeelementer eller en blokk av bildet.

Bevegelsesvektorene kan f.eks. benyttes til å generere utgangsdelbilder som svarer til et øyeblikk i tid som ligger mellom tiden for to inngangsdelbilder. Dette kan være nødvendig ved f.eks. dannelse av slow motion-effekter, ved overføring av videobilder til eller fira film eller ved omforming mellom standarder.

En av de mest utfordrende anvendelser av bevegelseskompensasjonen er generere slow motion-sekvenser uten den rykkvise bevegelse som skyldes helt enkelt å gjenta hvert bilde et antall ganger. Kjennskap til bevegelsesvektoren for hvert objekt i bildet muliggjør generering av nye bilder som svarer til hvilket som helst øyeblikk i tid og viser objektene korrekt posisjonert. Bruken av en slik teknikk i forbindelse med et CCD-kamera med lukker skulle muliggjøre generering av skarpe, jevnt bevegede bilder med en kvalitet som nærmet seg den som kunne fas med et kamera med høy bildehastighet og uten de driftsmessige problemer som bruken av et slikt kamera ville medføre.

Et typisk bilde kan i sin enkleste form anses å ha et bevegelig forgrunnsområde og et bakgrunnsområde, som vist noe skjematisk på flg. 1 av tegningen. Ved (a) er det vist et delbilde som omfatter et forgrunnsobjekt, såsom en ball, foran en bakgrunn. Ved (b) er det neste delbildet vist. Ballen vil ha beveget seg fra posisjon A til posisjon B. På bilde (b) ses det at en del av bakgrunnen som kunne ses på (a) nå er usynlig og en del av bakgrunnen som ikke kunne ses på (a) er nå synlig eller avdekket.

Generelt kan bakgrunnen også "bevege seg" i bildet, hvis f.eks. kameraet panoreres. Bevegelsesvektorene vil henholdsvis forbindes både med forgrunnen og med bakgrunnen. Den egnede bevegelsesvektor velges i hvert tilfelle fra listen over mulige bevegelsesvektorer (som er blitt dannet som f.eks. beskrevet i søkerens ovennevnte patent) ved å sammenligne to påfølgende delbilder og se på bevegelsen som har funnet sted over forskjellige områder av bildet.

Denne operasjonen vil skaffe nøyaktig informasjon over størstedelen av

bildeområdet. Således kan bakgrunnen som ikke er dekket av en av bildeposisjonene av ballen, A eller B, sammenlignes på de to bildene. Også overlappingsornrådet som dekkes av både posisjon A og posisjon B av ballen kan sammenlignes for å skaffe en egnet vektor. Både i området med usynlig bakgrunn og området med synlig eller

udekket bakgrunn, inneholder imidlertid ett av delbildene et bilde av ballen og det andre et bilde av bakgrunnen. Disse kan ikke korreleres meningsfylt.

En rekke bevegelsesestimeringsalgoritmer er blitt foreslått, se f.eks. Proceedings of the International Zurich Seminar on Digital Communications, mars 1984, sidene D2.1-D2.5, Bergman, H.C., "Motion-adaptive frame interpolation". De fleste kan ikke detektere bevegelser i slike områder eller kan bare detektere slike områder når bakgrunnen er stasjonær, men av dem som kan detektere dens eksistens, tror vi ikke at noen kan bestemme retningen eller størrelsen av bevegelsen i det området på det tidspunkt da den forsvinner ut av syne eller når den dukker opp igjen.

Europeisk patentsøknad nr. EP-A-0 395 264 publisert 31. oktober 1990 beskriver utstyr for å omforme et 1125/60/2:1 HDTV-signal til et 24 Hz progressivt (ikke-mellomlinjert) format for opptak på film og som benytter en bevegelsesesti-meringsmetode som omfatter en to-trinns algoritme hvor det første trinn omfatter korrelering (ved blokktilpasning) av relativt store områder av bildet for å bestemme en liste over mulige bevegelsesvektorer, fulgt av en tilordningsprosess for å allokere vektorer til individuelle piksler. I denne tilordningsprosess tilordnes vektorer til piksler i eksisterende inngangsdelbilder og denne informasjonen må så omformes for å henvise til piksler i de ønskede utgangsfdelbilder. Tre inngangsbilder benyttes til sammenligningen.

Den foreliggende oppfinnelse er definert i de vedføyde krav som det nå skal henvises til.

I en foretrukket utførelse av oppfinnelsen bestemmes en bildeverdi for hvert område av et videobilde for hver av fire påfølgende delbilder, for hver av en liste av mulige bevegelsesvektorer. Verdien av de fire delbilder sammenlignes og når verdiene er hovedsakelig de samme for en gitt vektor, antas det at vektoren er egnet for dette området. Vektorene som er egnet for området med usynlig eller synlig bakgrunn kan også tilordnes ved å sammenligne forskjeller mellom delbilder, og bestemte områder hvor forskjellene mellom delbilder er høye for det sentrale par og et ytre par og lavt for det andre ytre par av gruppen av fire delbilder.

Utgangsdelbilder kan genereres ved interpolasjon. For å generere områder som svarer til usynlig bakgrunn, benyttes bare informasjon fra de tidligere delbilder og for å generere områder som svarer til synlig bakgrunn benyttes bare informasjon fra de senere delbilder.

Den foretrakkede utførelse av oppfinnelsen skal beskrives mer detaljert ved hjelp av eksempler og med henvisning til tegningen. Fig. 1 (omtalt ovenfor) viser to påfølgende delbilder av en sekvens av videobilder hvor det finner sted en bevegelse av et forgrunnsobjekt. Fig. 2 viser et diagram som gjengir tilsvarende punkter på fire påfølgende delbilder for en gitt bevegelsesvektor. Fig. 3 viser et diagram som gjengir bevegelse av forgrunnen og bakgrunnen som mellom fire påfølgende delbilder. Fig. 4 er et blokkdiagram av et apparat for å finne fire luminansverdier langs en forsøksbevegelsesbane.

Fig. 5 viser et blokkdiagram av et apparat for å beregne tilordningsfeil.

Fig. 6 viser en krets for å sammenligne klassifikasjonskoder og feil.

Hvis det antas at hele bildet vises i samsvar med den samme

forsøksbevelgesesvektor, det vil si en av vektorene i listen over mulige bevegelsesvektorer, så kan verdien av hvilket som helst piksel estimeres ved å se tilbake på punktet i det foregående delbilde som er forskjøvet med størrelsen av denne vektor. Alternativt kan man ved å ta ethvert gitt delbilde som et datum, se bakover og fremover og for hvert bilde i datumdelbildet generere hvilken verdi dette piksel ville være ved ved tidspunktet for forekomst av de foregående og påfølgende delbilder. Dette oppnås ved å se på punktene i de tidligere og påfølgende delbilder som er forskjøvet fra pikslet i datumdelbildet med en størrelse som er passende for denne bevegelsesvektor. Denne operasjonen er vist på fig. 2 som skjematisk gjengir fire delbilder av et videosignal på henholdsvis tidspunktene t-1, t, t+1 og t+2. På den vertikale akse er et romlig snitt over bildet vist i én dimensjon. På grunn av bevegelse er punktene som svarer til de forskjellige delbilder romlig forskjøvet.

For hvilken som helst gitt bevegelsesvektor kan man således for hvert piksel i datumdelbildet bygge opp verdiene som dette piksel kunne forventes å ha i en rekke påfølgende delbilder. Hvis bevegelsesvektoren faktisk er den korrekte for dette piksel, vil disse verdiene sannsynligvis være mer eller mindre den samme. Hvis operasjonen gjentas for alle mulige bevegelsesvektorer, så er vektoren som frembringer den minste variasjon i verdiene sannsynligvis den egnede vektor for dette piksel. Verdiene kan behandles for å gi et mål på tilordningsfeilen som beskrevet nedenfor, for hvert piksel og hver vektor.

I henhold til den foreliggende oppfinnelse foreslås derfor å benytte innholdet av fire påfølgende delbilder for å bestemme de passende bevegelsesvektorer for forskjellige områder av bildet. Det skal henvises til fig. 3 som likeledes skjematisk viser fire delbilder av et videosignal henholdsvis på tidspunktene t-1, t, t+1 og t+2. På den vertikale akse er det i én dimensjon vist et forgrunnsobjekt som beveger seg over en bakgrunn som selv er i bevegelse. Som det kan ses på figuren, beveger forgrunns-objektet seg jevnt oppad mellom delbildene t-1 og t+2, mens bakgrunnen beveger seg mer langsomt nedad.

Eksisterende systemer sammenligner de to sentrale delbilder t og t+1 og er ikke i stand til å bestemme vektoren som er passende for visse områder av bildet. Spesielt er de ikke i stand til å bestemme vektoren som er passende for området betegnet C og som representerer bakgrunnen som er usynlig mellom delbildene t og t+1 eller vektoren som er passende for området betegnet e og som representerer den synlige bakgrunn.

Bevegelsesvektorene kan benyttes i en interpolasjonsoperasjon for å generere et utgangsdelbilde ved et øyeblikk t + Ut som svarer til et tidspunkt midt mellom delbildene t og t+1. Ved å benytte alle fire delbilder, blir deteksjonen av bevegelsesvektoren ikke bare mer nøyaktig, men det blir også mulig å allokere vektorer til områdene c og e av bildet. Behandlingen som benyttes på hver av de forskjellige områder a-g vist på fig. 2 er som følger: Områdene a og g: Bevegelsesvektoren til bakgrunnen gir en lav tilordningsfeil over alle fire delbilder, slik at fire-delbilders interpolasjon kan benyttes.

Område b: Bevegelsesvektor til bakgrunnen gir en lav tilordningsfeil mellom sentrale delbilder, men ikke over alle fire. To-delbilders interpolasjon over sentraldelbildene benyttes eller muligvis ekstrapolasjon av delbildet på tidspunktet t hvis tilordningsfeilen over de første to delbilder er mindre enn den over sentraldelbildene.

Område c: Bakgrunnsvektoren gir en lav feil over bare de to første delbilder. Ingen andre vektorer gir en lav tilordningsfeil over enhver tidsperiode. Området blir således flagget som "usynlig" og ekstrapolert fra delbildet ved tidspunktet t med bruk av bakgrunnsvektoren.

Område d: Bevegelsesvektoren for objektet gir en lav fire-delbildets

tilordningsfeil, derfor benyttes fire-delbilders interpolasjon.

Område e: Bakgrunnsvektoren gir en lav tilordningsfeil over de siste to delbilder. Ingen annen vektor gir en lav tilordningsfeil over alle tidsperioder. Området blir således flagget som "synlig" og ekstrapolert fra delbildet på tidspunktet t+1 med bruk av bakgrunnsvektoren.

Område f: Bakgrunnsvektoren gir en lav tilordningsfeil mellom sentraldelbildene, men ikke over alle fire. To-delbilders interpolasjon over sentraldelbildene blir således benyttet eller muligvis ekstrapoleres delbildet på tidspunktet t+1 hvis tilordningsfeilen over de to siste delbilder er mindre enn den over sentraldelbildene.

Vektortilordningen er mulig for alle bildeområder som er vist enten de er på en piksel for piksel- eller blokk-for-blokk-basis. Områder som svarer til usynlig bakgrunn genereres bare med bruk av informasjon i foregående delbilder og informasjon i områder med synlig bakgrunn benytter bare påfølgende delbilder.

Måten hvormed tilordningsfeil genereres skal nå beskrives. Fire delbilder av videosignalet stilles samtidig til rådighet ved passende lagring. For hver forsøksvektor blir de fire verdier langs den foreslåtte bevegelsesbane bestemt (se fig. 2). Verdiene som tas er luminansverdiene av signalet. Bevegelsesvektoren kan bestemmes med en nøyaktighet som er bedre enn et piksel og når dette er tilfelle, vil bevegelsesbanen ikke gå eksakt gjennom de eksisterende sampelpartier av delbildene t-1, t+1 eller t+2. En romlig interpolator blir deretter benyttet til å beregne luminansverdiene som gjelder for de nærmeste pikselposisjoner i disse delbilder. De fire verdiene som således fås, føres gjennom et høypassfilter som måler amplituden av den tidsvarierende luminanskomponent. En rekke filterresponser er mulige, men et eksempel på en mulig filterrespons som skaffer et veiet middel av modulus for forskjellene er:

Således fås en verdi for hver pikselposisjon. Verdiene over bildet blir deretter glattet ved å benyttes i et romlig lavpassfilter for å danne en firedelbilders vektortilordningsfeil for hver vektor. For hvert piksel blir størrelsene av de firedelbilders vektortilordningsfeil for alle mulige forsøksvektorer deretter sammenlignet. Hvis størrelsen av en laveste firedelbilders vektortilordningsfeil er under en gitt terskel, så tilordnes den tilsvarende vektor til dette piksel og pikslet flagges for å angi at det gjennomgår en enkel translasjonsbevegelse.

Hvis den laveste firedelbilders tilordningsfeil ligger over denne terskel, så blir forskjellene mellom påfølgende delbilder undersøkt for alle forsøksvektorer for å bestemme hvilken vektor og tidsperiode som gir den laveste feil, som beskrevet ovenfor med henvisning til fig. 3. Hvis f.eks. området svarer til synlig bakgrunn, så ville I a! - a2l forventes å ha en liten amplitude for den korrekte bevegelsesvektor mens I ao - aj' og I a-j - aj ville være meget høye. Tilsvarende ville et område med usynlig bakgrunn gi opphav til en lav amplitude på I a-! - aj . Hvis den laveste verdi var for den sentrale tidsperiode, så kunne det da konkluderes med at området nettopp hadde blitt synlig eller var i ferd med å bli usynlig. De tre feilene utsettes for et romlig filter og multipliseres fortrinnsvis med vektingsfaktorer før de sammenlignes. Vektingsfaktorene velges for å sikre at et område som er flagget som synlig eller usynlig bakgrunn bare når feilen til en av de ytterste delbilderperiodene er vesentlig mindre enn for sentralperioden.

En mulig maskinvareimplementering av metoden på fig. 3 skal nå beskrives med henvisning til fig. 4-6. Fig. 4 viser hvordan fire luminansverdier langs en forsøksbevegelsesbane kan finnes. Tre faste delbildeforsinkelser 10 benyttes for å skaffe signalverdier fra fire påfølgende delbildeperioder. En variabel forsinkelse 12 benyttes til å utføre forskyvningen ifølge forsøksvektorverdien multiplisert med en verdi svarende til tidsperioden mellom det relevante innkommende delbilde og tiden for hvilket vektordelbildet genereres. Slike variable forsinkelser kan lett implementeres med bruk av et antall randomaksess-minner adressert av passende skrive- og lesepekere. I en utførelse hvor delbildene forskyves med en nøyaktighet mindre enn et piksel, blir hver skifter erstattet av en rekke skiftere for å skaffe verdiene for de omgivende piksler. Disse verdiene blir deretter matet til en romlig interpolator for å utføre underpikseldelen av forskyvningen. En slik interpolator er velkjent. Fig. 5 viser et mulig arrangement for å beregne firedelbilders og todelbilders tilordningsfeil fra luminansverdien beregnet på fig. 4. Feilene beregnes med bruk av subtraktorer 14 fulgt av kretser 16 for å beregne modulus av delbildeforskjellen. Modulusforskjellene blir romlig filtrert for å danne todelbilders feil og disse benyttes til å beregne firedelbilders feil. Integrerte kretser som kunne benyttes til å utføre slik romlig filtrering finnes; et eksempel er Inmos Al 10.1 dette eksempel blir den firedelbilders feil helt enkelt utledet i en summerer 18 fra summen av tre todelbilders feil. En mer komplekst høypassfilteranordning kan også benyttes, som tidligere forklart. Disse feilene føres til en desisjonsfeil 20 som gjør en desisjon basert på verdien av feilene i relasjon til hverandre og gir terskelverdier og vektingsfaktorer som beskrevet tidligere. En slik krets kan konstrueres av komponenter som komparatorer og logiske porter. Fig. 6 viser hvordan klassifikasjonskoder og feil forbundet med hver forsøksvektor sammenlignes for å komme frem til en endelig avgjørelse. Dette innbefatter å sammenligne feilene for hver vektor med bruk av komparatorer for å bestemme den minste. Feilene kan vektes forut for sammenligning avhengig av deres klassifikasjon og en slik vekting kunne utføres ved å bruke et programmerbart leseminne 22, adressert av feilverdien og klassifikasjonskoden. Tallet som angir den valgte vektor kan lett konverteres til de horisontale og vertikale vektorkomponenter for denne vektor ved å benytte tallet til å adressere en oppslagstabell som inneholder listen over forsøksbevegelsesvektorer.

Bildeinterpolasjon som benytter vektoren og klassifikasjonsinformasjon funnet som beskrevet ovenfor, kan lett utføres med bruk av en anordning av delbildeforsinkelser og variable forsinkelser som er meget lik den vist på fig. 4. De variable forsinkelser styres av den valgte vektor. De fire luminansverdiene som fas, føres til et fire uttaksfilter hvis koeffisienter er bestemt av klassifikasjonskoden og tidsposisjonen av delbildet som skal genereres. Et slikt filter kan lett konstrueres med bruk av adderere og multiplikatorer sammen med leseminner for å romme filterkoeffisientene.

Som et alternativ til bruk av delbildeforskjeller som et mål på tilordningsfeilen er det mulig å danne et mer nøyaktig mål ved å ta hensyn til luminansgradienten i området av hvert piksel. Dette tillater at mindre vekt legges på feil i områder som er svært detaljerte, og er fordelaktig, da en liten unøyaktighet i en bevegelsesvektor kan gi en høy delbildeforskjell i et slikt område. En passende metode for å beregne tilordningsfeil er som følger:

hvor Y(x,y) er luminansnivået i inngangsdelbildet nærmest tid til øyeblikket i tid hvor vektordelbildet genereres, (x,y) er koordinatene i dette bilde hvorigjennom vektoren under betraktning passerer.

Denne metoden kan benyttes ved beregning av samtlige tilordningsfeil. De resulterende feil utsettes for et romlig lavpassfilter som beskrevet ovenfor.

En ytterligere mulig forbedring av beregningen av tilordningsfeil er å innbefatte informasjon fra krominanssignalet i tillegg til den fra luminansen som hittil beskrevet. To krominanstilordningsfeil kan beregnes på samme måte som beskrevet for luminansen ved å benytte de såkalte U- og V-krominanssignaler. Krominanstilordningsfeilene blir deretter addert til den som fås av luminanskomponenten for å gi et kombinert tilordningsfeilsignal som kan være mer pålitelig enn et signal basert bare på luminansen i bildeområder med små luminansdetaljer, men vesentlige krominansdetaljer.

Hvis alle tilordningsfeil er store, så kan det konkluderes med at ingen vektor svarer til bevegelsen og pikslet blir da flagget som at det har en ukjent vektor.

Hvis to eller flere vektorer gir tilsvarende lave tilordningsfeil, er det mulig at den ukorrekte vektor kan velges. I praksis er dette bare et problem hvis vektorene har vesentlig forskjellige verdier. I en utførelse av oppfinnelsen blir påliteligheten forbedret under denne omstendighet ved å gjenta hele tilordningsprosessen med bruk av romlige filtre med større åpninger, inntil en entydig vektor finnes. Alternativt kan den romlige filtrering av feilsignalene utføres i parallell med bruk av en rekke filteråpninger og signalet fra den minste filteråpning som gir et entydig svar, benyttes. Hvis ingen entydig vektor som gir en lav tilordningsfeil, kan finnes, blir pikslet flagget som at det har en ukjent bevegelse.

Mer sofistikerte metoder for å kombinere og vekte tilpasningsfeilene mellom påfølgende delbilder kan benyttes til å forbedre påliteligheten av vektortilordningsprosessen. I en foretrukket utførelse av oppfinnelsen, beregnes syv tilpasningsfeil fra tre uvektede tilpasningsfeil som følger: Det beregnes først tre uvektede tilordningsfeil EO, El og E2 med bruk av gradientmetoden beskrevet ovenfor, idet EO er tilordningsfeilen mellom de første to av fire delbilder bestemt med bruk av (ao - a^, El ligger mellom de sentrale to og E2 er feilen mellom de siste to.

Deretter beregnes syv feil WO - W6 basert på vektede kombinasjoner av EO, El og E2:

Vektingsfaktorene kan være konstanter valgt for å optimere operasjonen av vektorseleksjonsprosessen eller være funksjoner av parametre såsom størrelsen av forsøksvektoren, de romlige åpningsdimensjoner av tilordningsfiltret og utgangsposisj onen.

I en utførelse er first_wt og second_wt funksjoner som kan variere på en slik måte at problemene ved objektgrenser reduseres når bakgrunns- og forgrunnsvektorer konkurrerer. I slike områder er det romlige lavpassfilter benyttet på E0-E2 tilbøyelig til å gjøre at bakgrunnsvektoren velges straks innenfor kanten av objektet. Den følgende formel kan benyttes for disse to vektingsfaktorer:

hvor 8t er utgangsdelbildeposisjonen i området 0-1 som vist på fig. 3 og åpningslengden er størrelsen av det romlige filter benyttet på tilordningsfeilene E0-E2.

Disse vektingsfaktorer kan begrenses til en fast maksimumsverdi i tilfelle av meget store vektorer.

De andre vektingsfaktorene (one_wt, two_wt and three wt) er konstanter som velges mindre enn enheten og er således alltid mindre enn first_wt eller second_wt. Dette sikrer at vektorene som representerer forgrunnen foretrekkes i relasjon til de som angir synlig eller usynlig bakgrunn. Dette skyldes at det subjektivt er meget bedre for bakgrunnen omkring kanten av et bevegelig objekt å behandles som forgrunn (den blir noe uskarp) enn for kantene av et forgrunnsobjekt å behandles som bakgrunn (far hull til å dukke opp i objektet).

For hver forsøksvektor sammenlignes de vektede summer W0-W6 og for hvert sampel velges den minste. I henhold til dette valg foretas vektor-områdeklassifikasjon: Hvis Wl, W3, W4, W5 eller W6 er den minste, tilordnes den tilsvarende vektor og flagges som forgrunn. Hvis WO er den minste, tilordnes den tilsvarende vektor og flagges som usynlig bakgrunn. Hvis tilsvarende W2 er den minste, flagges vektoren som synlig bakgrunn. Hvis den minste feil ligger over en forhåndsinnstilt terskel, kan som tidligere nevnt pikslet flagges som at det har en ukjent vektor.

Vektor- og områdeklassifikasjonsinformasjonen som kan fas, kan utsettes for ytterligere etterbehandling om ønsket og dette kan innbefatte bruken av romlige lavpass- eller medianfiltre. Slike filtre er velkjent.

Som det er blitt bemerket med henvisning til fig. 3 finner vektor- og klassifikasjonsinformasjonen som fas fra operasjonen beskrevet ovenfor spesielt anvendelse i tidsinterpolasjonen av bildesekvenser. Slike anvendelser innbefatter genereringen av slow motion-avspilling med høy kvalitet, omforming av standarder mellom forskjellige bildehastigheter og interpolasjon av bilder i filmsekvenser for å øke visningsraten i forhold til den hos fjernsyn.

Igjen med henvisning til fig. 3 er et utgangsbilde vist interpolert på et vilkårlig tidspunkt mellom eksisterende delbilder. Beregningen av koeffisientene for de todelbilders og firedelbilders interpolasjonsfiltre er en relativt enkel og velkjent prosess. Figuren viser ikke noen områder hvortil ikke noen vektor kunne tilordnes. Slike områder interpoleres ved bruk av et ikke-adaptivt tidsfilter med fire uttak og hvis respons kan være lik den for det bevegelseskompenserende fire-uttaksfilter benyttet i områdene a, d og g på fig. 3.

I en utførelse av oppfinnelsen kan vektorseleksjonsprosessen utvides for å tillate inntil to vektorer å genereres for hvert utgangspiksel i områder med synlig og usynlig bakgrunn. Dette muliggjør en myksvitsjing mellom vektorer benyttet til interpolasjon ved overganger mellom forgrunns- og bakgrunnsobjekter. For hvert piksel som tilordnes som synlig bakgrunn (dvs. den laveste vektede tilordningsfeil forekommer mellom de to siste delbilder), blir f.eks. vektoren som gir minimums tilordningsfeil over de to første delbilder også bestemt. Utgangsbildet blir deretter interpolert fra de følgende delbilder forskjøvet med den tilordnede synlige bakgrunnsvektor (skalert for den ønskede utgangstid) som tidligere omtalt, sammen med et bidrag fra de foregående delbilder forskjøvet med denne sekundære vektor. Det relative forhold mellom de to bidrag kan bestemmes som følger: Et kontrollsignal beregnes for hvert piksel som skal interpoleres og spesifiserer fraksjonen av utgangsbildet som skal tas fra de følgende delbilder. For alle sampler i forgrunnsområdet vil dette være en konstant lik Ut på fig. 3, da dette er den normale operasjonsmode for et tidsinterpolasjonsfilter. I et område flagget som synlig bakgrunn, vil kontrollsignalet settes slik i enheten, da all informasjon bør tas fra de følgende delbilder som beskrevet tidligere for området e på fig. 3. Dette kontrollsignal blir deretter utsatt for et romlig lavpassfilter, slik at det ikke lenger vil være lik enheten straks innenfor områder av synlig bakgrunn.

Både vektortilordningen og tidsinterpolasjonsprosessene er blitt beskrevet med henvisning til linjesprang. Begge prosesser kan benyttes direkte på et mellomlinjert signal (under hensyntagen til den vertikale posisjonering av de samplede linjer). Alternativt kan ethvert mellomlinjert signal omformes til en sekvensiell eller progressiv form forut for behandling.

Det vil skjønnes at i det uvanlige tilfelle at det bare ønskes å detektere en usynlig bakgrunn eller synlig bakgrunn, men ikke begge, så vil det bare være nødvendig å sammenligne tre påfølgende delbilder.

For et blokkdiagram av et slow-motion-avspillingssystem hvor oppfinnelsen kan innbefattes, skal det henvises til IEE Conference Publication nr. 327 (IBS 1990), sidene 121-125, idet denne publikasjonen her skal medtas som referanse, og referan-sene som er angitt i denne publikasjon.

Det vil også skjønnes at operasjonen som er beskrevet ovenfor generelt vil implementeres av et datamaskinsystem fremfor av diskrete kretskombinasjoner. Den ovenstående operasjon eller beskrivelse gir all informasjon som er nødvendig for å fremstille et slikt system, noe som lett vil forstås av fagfolk og en detaljert beskrivelse av prograrnmeringsblokkene er derfor unødvendig og er ikke innbefattet her.

Claims (27)

1. Ikke-manuell fremgangsmåte for å tilordne en passende av en rekke mulige bevegelsesvektorer til områder av et videobilde i samsvar med den tilsynelatende bevegelse i dette området mellom et datumdelbilde og et tilstøtende delbilde, karakterisert ved at fremgangsmåten omfatter trinn for å bestemme for hvert område av datumdelbildet og for hver mulig bevegelsesvektor bildeverdier som er passende for dette området for minst fire påfølgende delbilder, og å sammenligne for hvert område bildeverdiene eller verdier utledet av disse for de forskjellige bevegelsesvektorer for å bestemme hvilken bevegelsesvektor som sannsynligvis vil være den passende for dette området.

2. Fremgangsmåte i henhold til krav 1, karakterisert ved at det som bildeverdier benyttes luminansverdier.

3. Fremgangsmåte i henhold til krav 1, karakterisert ved at det benyttes mulige bevegelsesvektorer med nøyaktighet bedre enn et piksel, og at det i trinnet for å bestemme bildeverdiene for de tilstøtende delbilder benytter romlig interpolasjon.

4. Fremgangsmåte i henhold til krav 1, karakterisert ved at hvert område omfatter et piksel.

5. Fremgangsmåte i henhold til krav 1, karakterisert ved at hvert område omfatter en blokk av piksler.

6. Fremgangsmåte i henhold til krav 1, karakterisert ved at bildeverdiene filtreres i et høypasstidsfilter for å skaffe tilordningsfeilverdier for hvert område og hver vektor, og at sammenligningen omfatter å sammenligne tilordningsfeilverdiene.

7. Fremgangsmåte i henhold til krav 6, karakterisert ved at når bare en tilordningsfeil for et område ligger under en terskel, tilordnes den tilsvarende vektor til dette området.

8. Fremgangsmåte i henhold til krav 7, karakterisert ved at når det for et område ikke er noen tilordningsfeilverdi som ligger under denne terskel, omfatter sammenligningstrinnet dessuten å beregne påfølgende forskjeller mellom delbilder for hver mulig vektor, og å tilordne bevegelsesvektorer avhengig av de nevnte forskjeller.

9. Fremgangsmåte i henhold til krav 8, karakterisert ved at forskjellene utsettes for romlig filtrering.

10. Fremgangsmåte i henhold til krav 8, karakterisert ved at forskjellene utsettes for vektingsfaktorer.

11. Fremgangsmåte i henhold til krav 8, karakterisert ved at fire påfølgende delbilder undersøkes (to sentraldelbilder og to motsatte ytre delbilder).

12. Fremgangsmåte i henhold til krav 11, karakterisert ved at når forskjellen mellom sentraldelbildene er under en terskel, mens forskjellen mellom ett av de to ytre delbilder og det tilstøtende sentraldelbilde er høy, ignoreres minst et av de ytre delbilder ved tilordningen av bevegelsesvektorene.

13. Fremgangsmåte i henhold til krav 11, karakterisert ved at når forskjellen mellom sentraldelbildene er høy, forskjellen mellom det tidligere ytre delbilde og det tilstøtende sentraldelbilde er høy og forskjellen mellom det følgende ytterdelbilde og det tilstøtende sentraldelbilde er lav, identifiseres området som synlig bakgrunn.

14. Fremgangsmåte i henhold til krav 13, karakterisert ved å bestemme vektoren som gir den laveste tilordningsfeil mellom det tidligere ytre delbilde og det tilstøtende sentraldelbilde, idet vektoren identifiseres som tilhørende forgrunnsmateriale tilstøtende området av identifisert synlig bakgrunn.

15. Fremgangsmåte i henhold til krav 11, karakterisert ved at når forskjellen mellom sentraldelbildene er høye, forskjellen mellom det påfølgende ytre delbilde og det tilstøtende sentraldelbilde er høy og forskjellen mellom det tidligere ytre delbilde og det tilstøtende sentraldelbilde er lav, identifiseres området som usynlig bakgrunn.

16. Fremgangsmåte i henhold til krav 14, karakterisert ved at vektoren som gir en laveste tilordningsfeil mellom det påfølgende ytre delbilde og det tilstøtende sentraldelbilde, også bestemmes og identifiseres som tilhørende forgrunnsmateriale tilstøtende området av identifisert usynlig bakgrunn.

17. Fremgangsmåte i henhold til krav 1, karakterisert ved at det dessuten omfatter å generere et utgangsdelbilde som i tid ligger mellom inngangsdelbildeene ved bevegelseskompensert interpolasjon med bruk av bevegelsesvektorene som således er tilordnet.

18. Fremgangsmåte i henhold til krav 15, karakterisert ved at det gjøres en myk svitsjing mellom interpolasjon i områdene med synlig eller usynlig bakgrunn og forgrunnsområdene med bruk av to vektorer bestemt i slike synlige eller usynlige områder for å forskyve de foregående og følgende delbilde i interpolatoren.

19. Fremgangsmåte i henhold til krav 1, karakterisert ved at tilordningsfeilene bestemmes hovedsakelig fra forholdet mellom luminansforskjellsverdiene og den lokale luminansgradient.

20. Fremgangsmåte i henhold til krav 1, karakterisert ved at krominansforskjellsverdiene langs en bevegelsesbane benyttes i tillegg til luminansforskjellsverdiene ved beregning av en tilordningsfeil.

21. Fremgangsmåte i henhold til krav 1, karakterisert ved at en rekke vektede tilordningsfeil dannes ved kombinasjon av tilordningsfeilene mellom tilstøtende delbilder, og at de kombinerte feil undersøkes når det bestemmes hvorvidt området svarer til forgrunn, synlig eller usynlig bakgrunn.

22. Fremgangsmåte i henhold til krav 1, karakterisert ved at vektorene tilordnes på et vilkårlig tidspunkt i relasjon til de opprinnelige bilder.

23. Apparat for å tilordne en passende av en rekke mulige bevegelsesvektorer til områder av et videobilde i samsvar med tilsynelatende bevegelse i dette området mellom et datumdelbilde og et tilstøtende delbilde, karakterisert ved at apparatet omfatter en anordning innrettet til å bestemme for hvert område av datumdelbildet og for hver mulig bevegelsesvektor bildeverdier passende for dette område for minst fire påfølgende delbilder, og en anordning forbundet med bestemmelsesanordningen og innrettet til å sammenligne for hvert område bildeverdiene eller verdiene utledet derav for forskjellige bevegelsesvektorer for å bestemme hvilken bevegelsesvektor som sannsynligvis vil være passende i dette område.

24. Fremgangsmåte for å tilordne en passende av en rekke mulige bevegelsesvektorer til områder av et videobilde i samsvar med en tilsynelatende bevegelse i dette området mellom et datumdelbilde og et tilstøtende delbilde, karakterisert ved at fremgangsmåten omfatter trinn for å bestemme for hvert område av et datumdelbilde og for hver mulig bevegelsesvektor bildeverdier passende for dette området for datumdelbildet og minst to tilstøtende delbilder, og å sammenligne for hvert område bildeverdier eller verdier utledet derav for forskjellige bevegelsesvektorer for å bestemme hvilken bevegelsesvektor som sannsynligvis vil være passende i dette området.

25. Fremgangsmåte i henhold til krav 24, karakterisert ved at vektorene tilordnes på et vilkårlig tidspunkt i relasjon til de opprinnelige bilder.

26. Apparat for å tilordne en passende av en rekke mulige bevegelsesvektorer til områder av et videobilde i samsvar med tilsynelatende bevegelse i dette området mellom et datumdelbilde og et tilstøtende delbilde, karakterisert ved at apparatet omfatter en anordning innrettet til å bestemme for hvert område av datumdelbildet og hver mulig bevegelsesvektor bildeverdier passende for dette område for datumdelbildet og minst to tilstøtende delbilder, og en anordning forbundet til bestemmelsesanordningen og innrettet til å sammenligne for hvert område bildeverdien eller verdier utledet derav for forskjellige bevegelsesvektorer for å bestemme hvilken bevegelsesvektor som sannsynligvis vil være passende for dette området.

27. Apparat i henhold til krav 26, karakterisert ved at vektorene tilordnes på et vilkårlig tidspunkt i forhold til de opprinnelige bilder.