FI20205528A1 - Menetelmä ja järjestelmä 3D-havainnon mahdollistamiseksi monokulaarikuvista - Google Patents

Menetelmä ja järjestelmä 3D-havainnon mahdollistamiseksi monokulaarikuvista Download PDF

Info

Publication number
FI20205528A1
FI20205528A1 FI20205528A FI20205528A FI20205528A1 FI 20205528 A1 FI20205528 A1 FI 20205528A1 FI 20205528 A FI20205528 A FI 20205528A FI 20205528 A FI20205528 A FI 20205528A FI 20205528 A1 FI20205528 A1 FI 20205528A1
Authority
FI
Finland
Prior art keywords
image
scene
illumination condition
mfp
stack
Prior art date
Application number
FI20205528A
Other languages
English (en)
Swedish (sv)
Inventor
Seppo Valli
Original Assignee
Teknologian Tutkimuskeskus Vtt Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Teknologian Tutkimuskeskus Vtt Oy filed Critical Teknologian Tutkimuskeskus Vtt Oy
Priority to FI20205528A priority Critical patent/FI20205528A1/fi
Priority to PCT/FI2021/050370 priority patent/WO2021240056A1/en
Publication of FI20205528A1 publication Critical patent/FI20205528A1/fi

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Menetelmä ja laite syvyysdatan johtamiseksi maisemalle monokulaarisista kuvista vastaanottamalla monokulaarinen kuvadata, joka sisältää vähintään kuvaparin: ensimmäisen kuvan maisemasta ensimmäisissä valaistusolosuhteissa ja toisen kuvan maisemasta toisissa valaistusolosuhteissa, jotka poikkeavat ensimmäisistä valaistusolosuhteista. Käsitellään ensimmäisen kuvan ja toisen kuvan erotusta erotuskuvan tuottamiseksi, ja määritetään sironneen ja/tai heijastuneen valon intensiteetti maiseman osista perustuen erotuskuvaan. Sitten johdetaan syvyyskuvaus, joka käsittää syvyystasoinformaation maiseman osille perustuen mainituista maiseman osista määritettyyn sironneen ja/tai heijastuneen valon intensiteettiin.

Claims (21)

1. Menetelmä syvyysdatan johtamiseksi maisemalle monokulaarisista kuvista varjomuodon (shape-from-shading, SfS) kautta, missä menetelmä käsittää sen, että: — vastaanotetaan monokulaarinen kuvadata, joka sisältää vähintään kuvaparin, joka käsittää ensimmäisen kuvan maisemasta ensimmäisissä valaistusolosuhteissa sekä toisen kuvan maisemasta toisissa valaistusolosuhteissa, jotka poikkeavat ensimmäisistä valaistusolosuhteista, — käsitellään ensimmäisen kuvan ja toisen kuvan erotusta erotuskuvan tuottamiseksi, — määritetään sironneen ja/tai heijastuneen valon intensiteetti maiseman osista perustuen ainakin osittain erotuskuvaan, ja — johdetaan syvyyskuvaus, joka käsittää informaation maiseman osien etäisyyksistä kiinteästä pisteestä, tunnettu siitä, että syvyyskuvaus johdetaan perustuen ainakin osittain mainituista maiseman osista määritettyyn sironneen ja/tai heijastuneen valon intensiteettiin.
2. Patenttivaatimuksen 1 menetelmä, jossa toisissa valaistusolosuhteissa maisemaa valaistaan aktiivisesti, esimerkiksi salamavalolla, kuten infrapunasalamalla.
3. Jommankumman edeltävän patenttivaatimuksen menetelmä, jossa ensimmäisissä valaistusolosuhteissa ei ole aktiivista valaistusta.
4. Jonkin edeltävän patenttivaatimuksen menetelmä, jossa toisissa valaistusolosuhteissa on N suurempi valaistus kuin ensimmäisissä valaistusolosuhteissa ja jossa ensimmäisen kuvan ja N toisen kuvan erotuksen käsittely käsittää sen, että vähennetään ensimmäinen kuva toisesta 3 kuvasta. 2 z 25 a @
5. Jonkin edeltävän patenttivaatimuksen menetelmä käsittäen lisäksi vaiheen, jossa 3 generoidaan ainakin jompikumpi stereoskooppisesta kuvaparista ja monen polttotason O (Multiple Focal Plane, MFP) pinosta perustuen ainakin osittain johdettuun syvyyskuvaukseen.
6. Jonkin edeltävän patenttivaatimuksen menetelmä käsittäen lisäksi vaiheen, jossa generoidaan monen polttotason (MFP) pino ja sitten siirretään MFP-pinoa stereoskooppisen MFP-pinon saamiseksi.
7. Jonkin edeltävän patenttivaatimuksen menetelmä, jossa kuvadata käsittää lisäksi suuntainformaation, joka on kaapattu kuvan kaappauksen aikana, kuten esimerkiksi suuntainformaation suhteessa painovoiman suuntaan.
8. Patenttivaatimuksen 7 menetelmä käsittäen lisäksi vaiheen, jossa näytetään stereoskooppinen kuvapari tai MFP-pino, jossa kuvadata käsittää lisäksi suuntainformaation, joka kaapataan mainitun näyttämisen aikana, kuten esimerkiksi suuntainformaatio suhteessa painovoiman suuntaan, missä suuntainformaatiota käytetään stereoskooppisen kuvaparin tai MFP-pinon generoimisen aikana siten, että kaapatun maiseman suuntaus täsmää näytetyn maiseman katsojan pään kallistumaan.
9. Jonkin edeltävän patenttivaatimuksen menetelmä, jossa kuvadata koostuu kuvadatasta, joka kaapataan samalla, kun salamavalo ajoittaisesti laukaistaan, esimerkiksi siten että joka toinen yksittäinen kuva valaistaan.
—
10. Jonkin edeltävän patenttivaatimuksen menetelmä käsittäen lisäksi vaiheen, jossa O kompensoidaan liikettä ensimmäisen kuvan kaappaushetken ja toisen kuvan 3 kaappaushetken valilla.
2 = 2s
11. Jonkin edeltävän patenttivaatimuksen menetelmä, jossa ensimmäisissä io valaistusolosuhteissa maisemaa valaistaan aktiivisesti salamavalolla matalammalla N intensiteettitasolla, kuin sitä valaistaan salamavalolla toisissa valaistusolosuhteissa.
N
12. Laite käsittäen vähintään yhden prosessointiytimen ja vähintään yhden muistin sisältäen tietokoneohjelmakoodia, missä mainitut vähintään yksi muisti ja tietokoneohjelmakoodi konfiguroidaan mainitun vähintään yhden prosessointiytimen avulla saamaan laitteen vähintään: — vastaanottamaan monokulaarista kuvadataa, joka sisältää vähintään kuvaparin, joka käsittää ensimmäisen kuvan maisemasta ensimmäisissä valaistusolosuhteissa sekä toisen kuvan maisemasta toisissa valaistusolosuhteissa, jotka poikkeavat ensimmäisistä valaistusolosuhteista, — käsittelemään ensimmäisen kuvan ja toisen kuvan erotuksen erotuskuvan tuottamiseksi, — määrittämään sironneen ja/tai heijastuneen valon intensiteetin maiseman osista perustuen erotuskuvaan, ja — johtamaan syvyyskuvauksen, joka käsittää informaation maiseman osien etäisyyksistä kiinteästä pisteestä, tunnettu siitä, että syvyyskuvaus on johdettu perustuen ainakin osittain mainituista maiseman osista määritettyyn sironneen ja/tai heijastuneen valon intensiteettiin.
13. Patenttivaatimuksen 12 laite käsittäen lisäksi kuva-anturin ja valonlähteen, kuten matkapuhelimen kuva-anturin ja salamavalon, missä laite konfiguroidaan lisäksi kaappaamaan monokulaarisen kuvadatan samalla, kun se vaihtelee maiseman valaistusolosuhteita.
14. Patenttivaatimuksen 12 tai 13 laite, jossa toisissa valaistusolosuhteissa maisemaa S valaistaan aktiivisesti. 3 2 _ 25
15. Jonkin patenttivaatimuksista 12-14 laite, jossa toisissa valaistusolosuhteissa on suurempi & valaistus kuin ensimmäisissä valaistusolosuhteissa ja jossa ensimmäisen kuvan ja toisen N kuvan erotuksen käsittely käsittää sen, että vähennetään ensimmäinen kuva toisesta S kuvasta. &
16. Jonkin patenttivaatimuksista 12-15 laite, jossa laite on lisäksi konfiguroitu generoimaan vähintään yhden stereoskooppisen kuvaparin sekä monen polttotason (Multiple Focal Plane, MFP) pinon perustuen ainakin osittain johdettuun syvyyskuvaukseen.
17. Jonkin patenttivaatimuksista 12—16 laite, jossa laite on lisäksi konfiguroitu generoimaan monen polttotason (MFP) pinon ja sitten siirtämään MFP-pinoa stereoskooppisen MFP- pinon saamiseksi.
18. Jonkin patenttivaatimuksista 12—17 laite, jossa kuvadata käsittää lisäksi suuntainformaation, joka on kaapattu kuvan kaappauksen aikana, kuten esimerkiksi suuntainformaation suhteessa painovoiman suuntaan.
19. Patenttivaatimuksen 18 laite käsittäen lisäksi vaiheen, jossa näytetään stereoskooppinen kuvapari tai MFP-pino, jossa kuvadata käsittää lisäksi suuntainformaation, joka kaapataan mainitun näyttämisen aikana, kuten esimerkiksi suuntainformaatio suhteessa painovoiman suuntaan, missä suuntainformaatiota käytetään stereoskooppisen kuvaparin tai MFP-pinon generoimisen aikana siten, että kaapatun maiseman suuntaus täsmää näytetyn maiseman katsojan pään kallistumaan.
20. Jonkin patenttivaatimuksista 12—19 laite, jossa ensimmäisissä valaistusolosuhteissa maisemaa valaistaan aktiivisesti salamavalolla matalammalla intensiteetillä, kuin sitä S valaistaan salamavalolla toisissa valaistusolosuhteissa. 3 o >
21. Pysyva tietokoneella luettava media, johon on tallennettu joukko tietokoneella luettavia E 25 komentoja, jotka suoritettaessa vähintään yhdessä prosessorissa saavat laitteen ainakin N suorittamaan ainakin yhden patenttivaatimuksista 1-11 mukaisen menetelmän. £ &
FI20205528A 2020-05-25 2020-05-25 Menetelmä ja järjestelmä 3D-havainnon mahdollistamiseksi monokulaarikuvista FI20205528A1 (fi)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FI20205528A FI20205528A1 (fi) 2020-05-25 2020-05-25 Menetelmä ja järjestelmä 3D-havainnon mahdollistamiseksi monokulaarikuvista
PCT/FI2021/050370 WO2021240056A1 (en) 2020-05-25 2021-05-21 Method and system for supporting 3d perception from monocular images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FI20205528A FI20205528A1 (fi) 2020-05-25 2020-05-25 Menetelmä ja järjestelmä 3D-havainnon mahdollistamiseksi monokulaarikuvista

Publications (1)

Publication Number Publication Date
FI20205528A1 true FI20205528A1 (fi) 2021-11-26

Family

ID=76217875

Family Applications (1)

Application Number Title Priority Date Filing Date
FI20205528A FI20205528A1 (fi) 2020-05-25 2020-05-25 Menetelmä ja järjestelmä 3D-havainnon mahdollistamiseksi monokulaarikuvista

Country Status (2)

Country Link
FI (1) FI20205528A1 (fi)
WO (1) WO2021240056A1 (fi)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1400924B1 (en) * 2002-09-20 2008-12-31 Nippon Telegraph and Telephone Corporation Pseudo three dimensional image generating apparatus
JP4999763B2 (ja) * 2007-07-31 2012-08-15 パナソニック株式会社 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
EP3151190A1 (en) * 2015-09-30 2017-04-05 Thomson Licensing Method, apparatus and system for determining normal and reflectance parameters using sequential illumination
MX2020009791A (es) * 2018-03-23 2020-11-11 Pcms Holdings Inc Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr).

Also Published As

Publication number Publication date
WO2021240056A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
US8446459B2 (en) Video communication method, device, and system
US9420200B2 (en) 3D cameras for HDR
CN1956555B (zh) 三维图像处理设备和方法
US9525858B2 (en) Depth or disparity map upscaling
US20150163478A1 (en) Selecting Camera Pairs for Stereoscopic Imaging
JP5891424B2 (ja) 立体映像作成装置および立体映像作成方法
US20170208292A1 (en) Holographic video capture and telepresence system
EP2833638B1 (en) Image processing device, imaging device, and image processing method
EP3818694B1 (en) Method and system for near-eye focal plane overlays for 3d perception of content on 2d displays
CN112136324A (zh) 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法
US20120236114A1 (en) Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
JP2014502818A (ja) 画像処理のための一次像および二次像画像取込装置およびその方法
Kuster et al. Towards next generation 3D teleconferencing systems
EP3818695A1 (en) Method and system for forming extended focal planes for large viewpoint changes
US11415935B2 (en) System and method for holographic communication
JP4230331B2 (ja) 立体視画像生成装置および画像配信サーバ
KR101158678B1 (ko) 입체 영상 시스템 및 입체 영상 처리 방법
WO2021240056A1 (en) Method and system for supporting 3d perception from monocular images
Benzeroual et al. 3D display size matters: Compensating for the perceptual effects of S3D display scaling
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
JP2014003486A (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法及びプログラム
CN115272440A (zh) 一种图像处理方法、设备及系统
KR20090081190A (ko) 휴대용 단말기
Chappuis et al. Subjective evaluation of an active crosstalk reduction system for mobile autostereoscopic displays
Xu Capturing and post-processing of stereoscopic 3D content for improved quality of experience