TWI478575B - 3d影像處理裝置 - Google Patents

3d影像處理裝置 Download PDF

Info

Publication number
TWI478575B
TWI478575B TW100121904A TW100121904A TWI478575B TW I478575 B TWI478575 B TW I478575B TW 100121904 A TW100121904 A TW 100121904A TW 100121904 A TW100121904 A TW 100121904A TW I478575 B TWI478575 B TW I478575B
Authority
TW
Taiwan
Prior art keywords
image
depth
field
eye image
image object
Prior art date
Application number
TW100121904A
Other languages
English (en)
Other versions
TW201301857A (zh
Inventor
Wen Tsai Liao
Yi Shu Chang
Hsu Jung Tung
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to TW100121904A priority Critical patent/TWI478575B/zh
Priority to US13/529,527 priority patent/US20120327078A1/en
Publication of TW201301857A publication Critical patent/TW201301857A/zh
Application granted granted Critical
Publication of TWI478575B publication Critical patent/TWI478575B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

3D影像處理裝置
本發明有關3D影像顯示技術,尤指一種可調整3D影像景深的3D影像處理裝置。
隨著技術的進步,3D影像顯示技術的應用愈來愈廣泛。有些3D影像顯示技術需要搭配特殊的眼鏡或頭罩等額外裝置,才能讓觀賞者產生3D立體視覺效果,有些則不需要。雖然3D影像顯示技術能提供更立體的視覺效果,但每個觀賞者的視覺系統對於3D立體視覺效果的感知程度並不完全相同。因此,對於相同的3D影像畫面,有的人會覺得3D效果不夠明顯,有的人卻會產生頭暈等不適應感。
很遺憾的,受限於來源影像資料的格式或傳輸頻寬,現行的3D影像顯示系統難以讓觀賞者依個人視覺系統的狀況來彈性調整3D影像的景深設定,造成3D影像顯示裝置的觀賞品質和舒適度普遍低落。
有鑑於此,如何使3D影像的景深可依據觀賞者的視覺需要而調整,實為業界有待解決的問題。
為解決前述問題,本說明書提供了一種3D影像處理裝置的實施例 ,其包含有:一影像位移檢測裝置,用於檢測一第一左眼影像或一第一右眼影像中的一目標影像物件在時間軸上的影像位移,以產生該目標影像物件的一時間性位移向量,並對該第一左眼影像與該第一右眼影像進行影像位移檢測,以產生該目標影像物件的一空間性位移向量,其中該第一左眼影像和該第一右眼影像可形成一第一3D畫面;一景深產生裝置,耦接於該影像位移檢測裝置,用於依據該時間性位移向量和該空間性位移向量產生該目標影像物件的景深值;一指令接收裝置,用於接收一景深調整指令;以及一影像合成裝置,耦接於該指令接收裝置,用於依據該景深調整指令,調整該第一左眼影像和該第一右眼影像中的至少部分影像物件的位置,以合成可形成一第二3D畫面的一第二左眼影像和一第二右眼影像。
另一種3D影像處理裝置的實施例包含有:一影像位移檢測裝置,用於檢測一左眼影像或一右眼影像中的各目標影像物件在時間軸上的影像位移,以產生各目標影像物件的時間性位移向量,並對該左眼影像與該右眼影像進行影像位移檢測,以產生各目標影像物件的空間性位移向量,其中該左眼影像和該右眼影像可形成一3D畫面;一景深產生裝置,耦接於該影像位移檢測裝置,用於依據該影像位移檢測裝置產生的複數個時間性位移向量和複數個空間性位移向量產生一景深圖;以及一影像合成裝置,用於依據該左眼影像、該右眼影像和該景深圖,合成分別對應於複數個視點的複數個左眼影像和複數個右眼影像。
本說明書另提供了一種3D影像處理裝置的實施例,其包含有:一影像位移檢測裝置,用於檢測一左眼影像或一右眼影像中的各目 標影像物件在時間軸上的影像位移,以產生各目標影像物件的時間性位移向量,並對該左眼影像與該右眼影像進行影像位移檢測,以產生各目標影像物件的空間性位移向量,其中該左眼影像和該右眼影像可形成一3D畫面;一景深產生裝置,耦接於該影像位移檢測裝置,用於依據該影像位移檢測裝置產生的複數個時間性位移向量和複數個空間性位移向量產生一第一景深圖;以及一指令接收裝置,用於接收一景深調整指令;以及一影像合成裝置,耦接於該指令接收裝置,用於依據該景深調整指令,調整該第一景深圖中的至少部分像素的景深值,以產生一第二景深圖。
100‧‧‧3D影像處理裝置
110‧‧‧影像接收裝置
120‧‧‧儲存裝置
130‧‧‧影像位移檢測裝置
140‧‧‧景深產生裝置
150‧‧‧指令接收裝置
160‧‧‧影像合成裝置
170‧‧‧輸出裝置
300L、300L’、300L”、600L‧‧‧左眼影像
300R、300R’、300R”、600R‧‧‧右眼影像
302、602‧‧‧3D畫面
310L、310R、320L、320R‧‧‧影像物件
310S、320S、610S、620S‧‧‧3D影像物件
311、312、313、314、315、316‧‧‧影像區域
500L、800L‧‧‧左眼景深圖
500R、800R‧‧‧右眼景深圖
510L、510R、520L、520R、810L、810R、820L、820R‧‧‧像素區域
612、614、616、618‧‧‧影像缺口
圖1為本發明的3D影像處理裝置的一實施例簡化後的功能方塊圖。
圖2為本發明的3D影像處理方法的一實施例簡化後的流程圖。
圖3為不同時間點的左眼影像和右眼影像的一實施例簡化後的示意圖。
圖4為圖1的3D影像處理裝置接收到的左眼影像和右眼影像的一實施例簡化後的示意圖。
圖5為圖1的3D影像處理裝置產生的左眼景深圖和右眼景深圖的一實施例簡化後的示意圖。
圖6為圖1的3D影像處理裝置合成的左眼影像和右眼影像的一實施例簡化後的示意圖。
圖7為圖1的3D影像處理裝置調整3D影像景深的一實施例簡化後的 示意圖。
圖8為圖1的3D影像處理裝置產生的左眼景深圖和右眼景深圖的另一實施例簡化後的示意圖。
以下將配合相關圖式來說明本發明之實施例。在這些圖式中,相同的標號表示相同或類似的元件。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解,同樣的元件可能會用不同的名詞來稱呼。本說明書及後續的申請專利範圍並不以名稱的差異來做為區分元件的方式,而是以元件在功能上的差異來做為區分的基準。在通篇說明書及後續的請求項當中所提及的「包含」為一開放式的用語,故應解釋成「包含但不限定於…」。另外,「耦接」一詞在此包含任何直接及間接的連接手段。因此,若文中描述一第一裝置耦接於一第二裝置,則代表該第一裝置可直接(包含透過電性連接或無線傳輸、光學傳輸等訊號連接方式)連接於該第二裝置,或透過其他裝置或連接手段間接地電性或訊號連接至該第二裝置。
圖1為本發明一實施例的3D影像處理裝置100簡化後的功能方塊圖。3D影像處理裝置100包含有影像接收裝置110、儲存裝置120、影像位移檢測裝置(image motion detector)130、景深產生裝置(depth generator)140、指令接收裝置150、影像合成裝置(image rendering device)160、以及輸出裝置170。實作上,3D影像處理裝置100中的功能方塊可以分別用不同的電路元件來 實現,亦可將3D影像處理裝置100中的部分或全部功能方塊整合於單一晶片中。實作上,儲存裝置120可以設置在影像接收裝置110的內部或外部。以下將搭配圖2到圖8來進一步說明3D影像處理裝置100的運作。
圖2為本發明一實施例的3D影像處理方法簡化後的流程圖200。在流程210中,影像接收裝置110會從一影像資料源(圖中未繪示)接收可形成3D畫面的左眼影像資料及右眼影像資料。影像資料源可以是電腦、光碟播放器、有線電視纜線、網際網路、行動運算裝置等各種能提供左、右眼3D影像資料的裝置。在本實施例中,前述的影像資料源並不需要傳送景深圖(depth map)資料給影像接收裝置110。
在運作時,影像接收裝置110接收到的左眼影像資料及右眼影像資料,會暫存在儲存裝置120中以供影像處理時使用。例如,圖3所繪示為影像接收裝置110接收到的不同時間點的左眼影像和右眼影像的一實施例簡化後的示意圖。在圖3中,左眼影像300L’及右眼影像300R’對應於時間T-1,左眼影像300L及右眼影像300R對應於時間T,而左眼影像300L”及右眼影像300R”則是對應於時間T+1。每一對的左眼影像和右眼影像由後級的顯示裝置(圖中未繪示)顯示時,可形成一3D畫面。
例如,圖4所繪示為對應於時間T的左眼影像300L及右眼影像300R由後級的顯示裝置顯示時,所形成的一3D畫面302的示意圖。在本實施例中,左眼影像300L中的影像物件310L和右眼影像300R中的影像物件310R,在顯示時可形成3D畫面302中的一3D影像物件310S,而左眼影像300L中的影像物件320L和右眼影像300R中的影 像物件320R,在顯示時則可形成3D畫面302中位於3D影像物件310S後方的另一3D影像物件320S。在實際應用上,前述的顯示裝置可以是採用自動立體顯示(auto-stereoscopic)等裸眼式(glasses-free)3D顯示技術的顯示裝置,也可以是搭配特殊眼鏡或頭罩來呈現3D立體影像的顯示裝置。
雖然人眼可以看出每個影像物件的輪廓,但在大多數應用環境中,前述的影像資料源並不會提供影像物件的形狀和位置等參考資料給3D影像處理裝置100。因此,影像位移檢測裝置130會進行流程220和230,對左眼影像和右眼影像進行影像邊緣檢測和影像位移檢測,以辨識出左眼影像和右眼影像中的對應影像物件,並檢測對應影像物件在左眼影像和右眼影像中的位置差異。「對應影像物件」一詞在此指的同一物體分別在左眼影像和右眼影像中所呈現出來的兩個影像,但並不嚴格限制左眼影像中的一特定影像物件要和在右眼影像中的對應影像物件完全相同,因為有些物體在左眼影像和右眼影像中的影像,可能會因攝影角度的些微不同或影像經過視差(parallax)處理而有少許位置差異。
例如,影像位移檢測裝置130可在流程220中會對左眼影像300L與右眼影像300R進行影像位移檢測,以產生與左眼影像300L或右眼影像300R中的一目標影像物件相對應的多個候選位移向量。為方便說明,以下假設目標影像物件是左眼影像300L中的影像物件310L。在本例中,影像位移檢測裝置130可先對左眼影像300L進行影像邊緣檢測,以辨識出左眼影像300中的影像物件310L的輪廓,接著再檢測影像物件310L在左眼影像300L和右眼影像300R間的影像位移。
一般而言,同一物體分別在左眼影像和右眼影像中所呈現出來的兩個影像的水平位置會相同或是很接近。因此,影像位移檢測裝置130可將檢測影像物件310L的影像位移時的影像比對範圍,限縮在右眼影像300R中的局部水平帶狀區域內,以節省影像位移檢測所需的時間和記憶體。例如,假設影像物件310L的最底端在左眼影像300L中的垂直座標為Yb,而影像物件310L的最頂端在左眼影像300L中的垂直座標為Yu,其中Yu大於Yb,則可將進行影像物件310L的影像位移檢測時的影像比對範圍,限縮在右眼影像300R中介於垂直座標Yb-k~Yu+k範圍內的水平帶狀區域,其中k可以是以像素距離計算的適當長度。
此外,為了降低因影像中的雜訊或其他影像內容特性造成位移檢測判斷錯誤的可能性,影像位移檢測裝置130在流程220中會產生與影像物件310L相對應的多個候選位移向量。
在流程230中,影像位移檢測裝置130會選擇在流程220中產生的其中一個候選位移向量,來做為目標影像物件的空間性位移向量(spatial motion vector)VS1。由於相鄰時間點的影像彼此間會有高度相似性,故影像位移檢測裝置130可以利用目標影像物件在先前時間點的空間性位移向量,來輔助決定該目標影像物件在當前時間點的空間位移向量,以提升該目標影像物件的影像位移檢測結果的準確度。例如,影像位移檢測裝置130可從與影像物件310L相關的多個候選位移向量中,選擇最接近影像物件310L在對應時間點T-1的左眼影像300L’和右眼影像300R’間的空間性位移向量VS0者,做為影像物件310L在對應時間點T的左眼影像300L和右眼影像300R間的空間性位移向量VS1。
在流程240中,影像位移檢測裝置130會檢測該目標影像物件在時間軸上的位移向量。例如,影像位移檢測裝置130可檢測影像物件310L在左眼影像300L’與左眼影像300L間的影像位移,以產生一時間性位移向量(temporal motion vector)VL1。
在流程250中,景深產生裝置140會依據該目標影像物件的空間性位移向量和時間性位移向量,計算該目標影像物件的景深值。例如,景深產生裝置140可依據影像物件310L的空間性位移向量VS1計算出影像物件310L的景深值,再依據影像物件310L的時間性位移向量VL1來決定是否微調該景深值。
在一實施例中,若空間性位移向量VS1的值大於一預定值STH1,景深產生裝置140會判斷影像物件310L和影像物件310R的景深落在離觀賞者較近的一個區段內,亦即影像物件310L和影像物件310R所形成的3D影像物件310S在3D畫面302中的景深是在離觀賞者較近的一個區段內。因此,景深產生裝置140會賦予左眼影像300L中與影像物件310L相對應的像素較大的景深值,和/或賦予右眼影像300R中與影像物件310R相對應的像素較大的景深值。在本實施例中,影像物件的景深值愈大,代表其景深愈淺,亦即愈靠近攝影機(或觀賞者);反之,影像物件的景深值愈小,代表其景深愈深,亦即愈遠離攝影機(或觀賞者)。
接著,景深產生裝置140會參考時間性位移向量VL1來決定是否要修正前述設定的景深值。例如,在一實施例中,若時間性位移向量VL1大於一預定值TTH1,景深產生裝置140會決定不修正前述設定的景深值;若時間性位移向量VL1小於一預定值TTH2,則景深產生裝置140會把前述設定的景深值與時間點T-1所對應的景深值 加以平均,以做為最後的景深值。
舉例而言,假設景深產生裝置140先前將左眼影像300L’中與影像物件310L相對應的像素的景深值設為190,並且景深產生裝置140依據影像物件310L的空間性位移向量VS1,將左眼影像300L中與影像物件310L相對應的像素的景深值設為210。若時間性位移向量VL1小於預定值TTH2,則景深產生裝置140可將左眼影像300L中與影像物件310L相對應的像素的景深值,修正為210與190的平均值,亦即200。如此一來,就能使得同一影像物件在相鄰時間點的影像中的景深值變化變得較為平順,有助於提升所形成的3D影像的畫質。
實作上,影像位移檢測裝置130也可以在流程240中檢測影像物件310L在左眼影像300L與左眼影像300L”間的影像位移,以產生一時間性位移向量VL2,來取代前述時間性位移向量VL1的角色。或者,影像位移檢測裝置130也可以在流程240中檢測影像物件310R在右眼影像300R’與右眼影像300R間的影像位移,以產生一時間性位移向量VR1,或是檢測影像物件310R在右眼影像300R與右眼影像300R”間的影像位移,以產生一時間性位移向量VR2,來取代前述時間性位移向量VL1的角色。
依照前述的方式,影像位移檢測裝置130會產生與左眼影像300L和/或右眼影像300R中的複數個物件相對應的複數個時間性位移向量和複數個空間性位移向量,而景深產生裝置140便能計算出該等影像物件個別的景深,並產生與左眼影像300L相對應的左眼景深圖500L,和/或與右眼影像300R相對應的右眼景深圖500R,如圖5所示。左眼景深圖500L中的像素區域510L和像素區域520L ,分別對應於左眼影像300L中的影像物件310L和影像物件320L。同樣的,右眼景深圖500R中的像素區域510R和像素區域520R,分別對應於右眼影像300R中的影像物件310R和影像物件320R。為方便後續說明起見,在此假設本實施例中的景深產生裝置140將像素區域510L和510R中的像素的景深值設為200,並將像素區域520L和520R中的像素的景深值設為60。
為了使3D影像的景深可依據觀賞者的視覺需要而調整,以提高觀賞的品質和舒適度、降低觀賞者的眼睛疲勞和不適感,3D影像處理裝置100允許觀賞者透過遙控器或其他設定介面進行3D影像的景深調整。因此,指令接收裝置150會在流程260中接收使用者透過遙控器或其他設定介面所傳送過來的一景深調整指令。
接著,影像合成裝置160會進行流程270,依據該景深調整指令調整左眼影像300L和右眼影像300R中的影像物件的位置,以產生可形成景深程度調整後的3D畫面的新左眼影像和新右眼影像。
為方便說明起見,在此假設該景深調整指令是要增加3D畫面的立體效果,亦即增加3D畫面中的不同3D影像物件間的景深差距。在本實施例中,影像合成裝置160會依據該景深調整指令調整左眼影像300L中的影像物件310L、320L和右眼影像300R中的影像物件310R、320R的位置,以產生新左眼影像600L和新右眼影像600R,如圖6所示。在本實施例中,影像合成裝置160在產生新左眼影像600L時,會將影像物件310L的位置往右移並將影像物件320L的位置往左移,而影像合成裝置160在產生新右眼影像600R時,會將影像物件310R的位置往左移並將影像物件320R的位置往右移。實作上,各影像物件的移動方向,與該景深調整指令所指示的景深 調整方向有關,而各影像物件的移動距離,則與該景深調整指令所指示的景深調整程度以及與各影像物件的原景深值有關。
新左眼影像600L及新右眼影像600R由後級的顯示裝置(圖中未繪示)顯示時,可形成一3D畫面602。在本實施例中,左眼影像600L中的影像物件310L和右眼影像600R中的影像物件310R,在顯示時可形成3D畫面602中的一3D影像物件610S,而左眼影像600L中的影像物件320L和右眼影像600R中的影像物件320R,在顯示時則可形成3D畫面602中的一3D影像物件620S。依據前述的影像物件位置的調整方向,3D影像物件610S在3D畫面602中的景深,會大於3D影像物件310S在3D畫面302中的景深,亦即,觀賞者會感覺3D影像物件610S比3D影像物件310S更靠近自己。另一方面,3D影像物件620S在3D畫面602中的景深,則會小於3D影像物件320S在3D畫面302中的景深,亦即,觀賞者會感覺3D影像物件620S比3D影像物件320S更遠離自己。
如此一來,假設在圖4的原3D畫面302中,觀賞者所感知到的3D影像物件310S和320S之間的景深距離為D1,而在新的3D畫面602中,觀賞者所感知到的3D影像物件610S和620S之間的景深距離會變為D2,比調整前的景深距離D1來得大。
前述移動影像物件以產生新左眼影像600L和新右眼影像600R的運算,有可能會在影像物件的邊緣部分形成影像缺口。為提升3D畫面的品質,影像合成裝置160可依據右眼影像的局部資料來產生填補左眼影像的影像缺口所需的影像資料,並依據左眼影像的局部資料來產生填補右眼影像的影像缺口所需的影像資料。
圖7繪示本發明填補左眼影像和右眼影像中的影像缺口的一實施例簡化後的示意圖。如前所述,影像合成裝置160在產生新左眼影像600L時,會將影像物件310L往右移並將影像物件320L往左移,而在產生新右眼影像600R時,則會將影像物件310R往左移並將影像物件320R往右移。前述的影像物件移動運算可能在影像物件310L的邊緣形成影像缺口612、在影像物件320L的邊緣形成影像缺口614、在影像物件310R的邊緣形成影像缺口616、並在影像物件320R的邊緣形成影像缺口618。在本實施例中,影像合成裝置160可用原右眼影像300R中與影像缺口612相對應的影像區域315和316的像素值,來填補新左眼影像600L中的影像缺口612,並可用原右眼影像300R中與影像缺口614相對應的影像區域314的像素值,來填補新左眼影像600L中的影像缺口614。同樣的,影像合成裝置160可用原左眼影像300L中與影像缺口616相對應的影像區域312和313的像素值,來填補新右眼影像600R中的影像缺口616,並可用原左眼影像300L中與影像缺口618相對應的影像區域311的像素值,來填補新右眼影像600R中的影像缺口618。
實作上,影像合成裝置160也可參考左眼影像300L和右眼影像300R中的像素值、左眼影像300L’和右眼影像300R’中的像素值、及/或左眼影像300L”和右眼影像300R”中的像素值,利用插補運算的方式來產生填補新左眼影像600L和新右眼影像600R中的影像缺口所需的新像素值。
在某些習知的影像處理方法中,會利用單一視角的2D影像(例如左眼影像資料和右眼影像資料的其中之一)來產生另一視角的影像資料。此時,若移動單一視角影像中的影像物件的位置,則難 以有效填補影像物件移動後造成的影像缺口,容易降低影像物件邊緣的影像品質。相較之下,前述影像合成裝置160利用左、右眼影像互補不足來產生新的左、右眼影像的方式,可以有效提高3D畫面的影像品質,特別是在影像物件的邊緣部份的影像品質更能獲得大幅提升。
在流程280中,影像合成裝置160會依據該景深調整指令減少至少一影像物件的景深值,並增加至少另一影像物件的景深值。例如,在圖8的實施例中,影像合成裝置160可將與影像物件310L和310R對應的像素區域810L和810R中的像素的景深值調升至270,並將與影像物件320L和320R對應的像素區域820L和820R中的像素的景深值調降至40,以產生與新左眼影像600L相對應的左眼景深圖800L,和/或與新右眼影像600R相對應的右眼景深圖800R。
接著,輸出裝置170會將影像合成裝置160產生的新左眼影像600L和新右眼影像600R,連同調整後的左眼景深圖800L和/或右眼景深圖800R,傳送給後級電路進行顯示或做進一步影像處理。
倘若指令接收裝置150於流程260接收到的景深調整指令是要降低3D畫面的立體效果,亦即減少3D畫面中的不同3D影像物件間的景深差距,則影像合成裝置160可將前述流程270中的運作反向操作。例如,影像合成裝置160在產生新左眼影像時,可將影像物件310L往左移並將影像物件320L往右移,而在產生新右眼影像時,則可將影像物件310R往右移並將影像物件320R往左移。如此一來,便能減少影像物件310L和310R所形成的新3D影像物件與影像物件320L和320R所形成的另一新3D影像物件間的景深差距。同樣的,影像合成裝置160可將前述流程280中的運作反向操作。
請注意,在前述說明中,影像合成裝置160會依據該景深調整指令將影像物件310L和320L的位置及景深做反方向調整,也會將影像物件310R和320R的位置及景深做反方向調整,但此僅係為一實施例,而非侷限本發明之實際應用範圍。實作上,影像合成裝置160也可以只調整部分影像物件的位置和/或景深值,而不改變其他影像物件的位置和/或景深值。
例如,當該景深調整指令要求3D影像處理裝置100提升3D畫面的立體感時,影像合成裝置160可以只將影像物件310L往右移並將影像物件310R往左移,但不改變影像物件320L和320R的位置。影像合成裝置160也可改將影像物件320L往左移並將影像物件320R往右移,但不改變影像物件310L和310R的位置。前述的兩種方式都可以增加3D畫面中的不同3D影像物件間的景深差距感。
或者,影像合成裝置160也可以只提高影像物件310L和310R的景深值,而不改變影像物件320L和320R的景深值。相對地,影像合成裝置160也可以只調降影像物件320L和320R的景深值,而不改變影像物件310L和310R的景深值。前述的兩種方式也都可以增加3D畫面中的不同3D影像物件間的景深差距感。
在另一實施例中,影像合成裝置160在產生新左眼影像600L時,會將影像物件310L和影像物件320L的位置往一方向移動,但移動的距離不同,且在產生新右眼影像600R時,會將影像物件310R和影像物件320R的位置往另一方向移動,但移動的距離不同。藉此,影像合成裝置160同樣可改變3D畫面中的不同3D影像物件間的景深差距感。
或者,在另一實施例中,影像合成裝置160也可藉由將影像物件310L、320L、310R、以及320R的對應像素的景深值,都往同一方向調整但調整量不同的方式,來改變3D畫面中的不同3D影像物件間的景深差距感。例如,影像合成裝置160可將影像物件310L、320L、310R、以及320R的對應像素的景深值都調升,但影像物件310L和310R的對應像素的景深值調升量大於影像物件320L和320R的對應像素的景深值調升量,以增加3D畫面中的不同3D影像物件間的景深差距感。又例如,影像合成裝置160可將影像物件310L、320L、310R、以及320R的對應像素的景深值都調降,但影像物件310L和310R的對應像素的景深值調降量大於影像物件320L和320R的對應像素的景深值調降量,以降低3D畫面中的不同3D影像物件間的景深差距感。
前述流程圖200中的各流程的執行順序只是一實施例,而非侷限本發明的實際實施方式。例如,在另一實施例中,影像合成裝置160會先進行流程280,依據該景深調整指令調整影像物件的景深值,然後再進行流程270,依據調整後的景深值換算出各影像物件需要的位移量,並對應地移動影像物件的位置。亦即,流程270和280的順序是可以對調的。另外,亦可將流程270和280的其中之一省略。
除了可允許觀賞者依個人視覺需要而改變3D畫面的立體效果(亦即3D影像物件間的景深差距)之外,前揭的3D影像處理裝置100還能支援裸眼式的多視點(multi-view)自動立體顯示技術。如前所述,影像位移檢測裝置130可依據接收到的左眼影像300L和右眼影像300R產生對應的左眼景深圖500L和/或右眼景深圖500R 。依據左眼影像300L、右眼影像300R、左眼景深圖500L和/或右眼景深圖500R,影像合成裝置160便能合成分別對應於複數個視點的複數個左眼影像和複數個右眼影像。當輸出裝置170將該複數個左眼影像和複數個右眼影像傳送給適當的顯示裝置時,便能實現多視點裸眼式3D顯示功能。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
100‧‧‧3D影像處理裝置
110‧‧‧影像接收裝置
120‧‧‧儲存裝置
130‧‧‧影像位移檢測裝置
140‧‧‧景深產生裝置
150‧‧‧指令接收裝置
160‧‧‧影像合成裝置
170‧‧‧輸出裝置

Claims (14)

  1. 一種3D影像處理裝置,其包含有:一影像位移檢測裝置,用於檢測一第一左眼影像或一第一右眼影像中的一目標影像物件在時間軸上的影像位移,以產生該目標影像物件的一時間性位移向量,並對該第一左眼影像與該第一右眼影像進行影像位移檢測,以產生該目標影像物件的一空間性位移向量,其中該第一左眼影像和該第一右眼影像可形成一第一3D畫面;一景深產生裝置,耦接於該影像位移檢測裝置,用於依據該時間性位移向量和該空間性位移向量產生該目標影像物件的景深值;一指令接收裝置,用於接收一景深調整指令;以及一影像合成裝置,耦接於該指令接收裝置,用於依據該景深調整指令,調整該第一左眼影像和該第一右眼影像中的至少部分影像物件的位置,以合成可形成一第二3D畫面的一第二左眼影像和一第二右眼影像。
  2. 如請求項1所述的3D影像處理裝置,其中該影像合成裝置會依據該第一右眼影像中的至少一影像區域的像素值來填補該第二左眼影像中的一影像缺口,和依據該第一左眼影像中的至少一影像區域的像素值來填補該第二右眼影像中的一影像缺口。
  3. 如請求項2所述的3D影像處理裝置,其中該第一左眼影像中的一第一影像物件和該第一右眼影像中的一第二影像物件可於該第一3D畫面中形成一第一3D影像物件,該第一左眼影像中的一第三影 像物件和該第一右眼影像中的一第四影像物件可於該第一3D畫面中形成一第二3D影像物件,該第一影像物件和該第二影像物件在該第二3D畫面中形成一第三3D影像物件,且該第三影像物件和該第四影像物件在該第二3D畫面中形成一第四3D影像物件。
  4. 如請求項3所述的3D影像處理裝置,其中該影像位移檢測裝置會對該第一左眼影像與該第一右眼影像進行影像位移檢測,以產生對應於該目標影像物件的多個候選位移向量,並依據該目標影像物件在對應於其他時間點的左眼影像和右眼影像中的空間性位移向量,選擇該多個候選位移向量的其中之一做為該目標影像物件當前的空間性位移向量。
  5. 如請求項3所述的3D影像處理裝置,其中該影像合成裝置會調整該第一、第二、第三、第四影像物件的位置,致使該第三3D影像物件在該第二3D畫面中的景深,大於該第一3D影像物件在該第一3D畫面中的景深,而該第四3D影像物件在該第二3D畫面中的景深,小於該第二3D影像物件在該第一3D畫面中的景深。
  6. 如請求項3所述的3D影像處理裝置,其中該影像合成裝置會調整該第一左眼影像和該第一右眼影像中的僅有局部影像物件的位置,致使該第三3D影像物件在該第二3D畫面中的景深,異於該第一3D影像物件在該第一3D畫面中的景深,而該第四3D影像物件在該第二3D畫面中的景深,等於該第二3D影像物件在該第一3D畫面中的景深。
  7. 如請求項3所述的3D影像處理裝置,其中該影像合成裝置會將該第一左眼影像中的至少局部影像物件的位置往一方向調整,並將該第一右眼影像中的至少局部影像物件的位置往另一方向調整,致使該第三3D影像物件與該第四3D影像物件在該第二3D畫面中的 景深差距,異於該第一3D影像物件與該第二3D影像物件在該第一3D畫面中的景深差距。
  8. 如請求項3所述的3D影像處理裝置,其中該影像合成裝置在合成該第二左眼影像時,會將該第一影像物件的位置往右移並將該第三影像物件的位置往左移,而該影像合成裝置在合成該第二右眼影像時,會將該第二影像物件的位置往左移並將該第四影像物件的位置往右移。
  9. 如請求項3所述的3D影像處理裝置,其中該影像合成裝置在合成該第二左眼影像時,只會調整部分影像物件的位置,並維持其他影像物件的位置不變。
  10. 如請求項3所述的3D影像處理裝置,其中該影像合成裝置在合成該第二左眼影像時,會將該第一影像物件和該第三影像物件的位置往一方向移動,但移動的距離不同,而該影像合成裝置在合成該第二右眼影像時,會將該第二影像物件和該第四影像物件的位置往另一方向移動,但移動的距離不同。
  11. 一種3D影像處理裝置,其包含有:一影像位移檢測裝置,用於檢測一左眼影像或一右眼影像中的各目標影像物件在時間軸上的影像位移,以產生各目標影像物件的時間性位移向量,並對該左眼影像與該右眼影像進行影像位移檢測,以產生各目標影像物件的空間性位移向量,其中該左眼影像和該右眼影像可形成一3D畫面;一景深產生裝置,耦接於該影像位移檢測裝置,用於依據該影像位移檢測裝置產生的複數個時間性位移向量和複數個空間性位移向量產生一第一景深圖;一指令接收裝置,用於接收一景深調整指令;以及 一影像合成裝置,耦接於該指令接收裝置,用於依據該景深調整指令,調整該第一景深圖中的至少部分像素的景深值,以產生一第二景深圖。
  12. 如請求項11所述的3D影像處理裝置,其中該影像合成裝置會依據該景深調整指令,增加一部分像素的景深值,並減少另一部分像素的景深值。
  13. 如請求項11所述的3D影像處理裝置,其中該影像合成裝置會依據該景深調整指令,只調整局部影像的景深值,並維持其他像素的景深值不變。
  14. 如請求項11所述的3D影像處理裝置,其中該影像合成裝置會依據該景深調整指令,將兩像素的像素值以不同的調整量朝同一方向調整。
TW100121904A 2011-06-22 2011-06-22 3d影像處理裝置 TWI478575B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100121904A TWI478575B (zh) 2011-06-22 2011-06-22 3d影像處理裝置
US13/529,527 US20120327078A1 (en) 2011-06-22 2012-06-21 Apparatus for rendering 3d images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100121904A TWI478575B (zh) 2011-06-22 2011-06-22 3d影像處理裝置

Publications (2)

Publication Number Publication Date
TW201301857A TW201301857A (zh) 2013-01-01
TWI478575B true TWI478575B (zh) 2015-03-21

Family

ID=47361412

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100121904A TWI478575B (zh) 2011-06-22 2011-06-22 3d影像處理裝置

Country Status (2)

Country Link
US (1) US20120327078A1 (zh)
TW (1) TWI478575B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
US9818040B2 (en) 2013-06-20 2017-11-14 Thomson Licensing Method and device for detecting an object
JP6425534B2 (ja) * 2014-12-25 2018-11-21 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US10068147B2 (en) * 2015-04-30 2018-09-04 Samsung Electronics Co., Ltd. System and method for insertion of photograph taker into a photograph
JP6570327B2 (ja) * 2015-06-05 2019-09-04 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US10096149B2 (en) 2015-12-21 2018-10-09 Intel Corporation Direct motion sensor input to rendering pipeline

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
US20110025825A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
TW201112767A (en) * 2009-07-01 2011-04-01 Sony Corp Image processing device and image processing method
US20110110583A1 (en) * 2008-06-24 2011-05-12 Dong-Qing Zhang System and method for depth extraction of images with motion compensation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647965A (en) * 1983-11-02 1987-03-03 Imsand Donald J Picture processing system for three dimensional movies and video systems
JP4523368B2 (ja) * 2004-09-10 2010-08-11 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8488870B2 (en) * 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
US20110110583A1 (en) * 2008-06-24 2011-05-12 Dong-Qing Zhang System and method for depth extraction of images with motion compensation
TW201112767A (en) * 2009-07-01 2011-04-01 Sony Corp Image processing device and image processing method
US20110025825A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene

Also Published As

Publication number Publication date
TW201301857A (zh) 2013-01-01
US20120327078A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
TWI478575B (zh) 3d影像處理裝置
TWI504232B (zh) 3d影像處理裝置
US8116557B2 (en) 3D image processing apparatus and method
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
TWI520569B (zh) 深度資訊產生器、深度資訊產生方法及深度調整裝置
US8514275B2 (en) Three-dimensional (3D) display method and system
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
US20130249874A1 (en) Method and system for 3d display with adaptive disparity
WO2012157540A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017510092A (ja) オートステレオスコピックマルチビューディスプレイのための画像の生成
KR20120055991A (ko) 영상처리장치 및 그 제어방법
US20120069004A1 (en) Image processing device and method, and stereoscopic image display device
JP2011078036A (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
KR20140041489A (ko) 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전
JP5129376B1 (ja) 映像処理装置および映像処理方法
US9167237B2 (en) Method and apparatus for providing 3-dimensional image
US20170171534A1 (en) Method and apparatus to display stereoscopic image in 3d display system
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
CN102857769A (zh) 3d 影像处理装置
US20140063206A1 (en) System and method of viewer centric depth adjustment
US20140218490A1 (en) Receiver-Side Adjustment of Stereoscopic Images
KR20120133710A (ko) 비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법
JP2011254176A (ja) 画像処理装置及びその制御方法
CN108881878A (zh) 一种裸眼3d显示设备和方法
TW201327470A (zh) 調整立體影像之景深的方法以及顯示立體影像的方法與相關裝置