TWI401612B - 全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統 - Google Patents

全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統 Download PDF

Info

Publication number
TWI401612B
TWI401612B TW99108527A TW99108527A TWI401612B TW I401612 B TWI401612 B TW I401612B TW 99108527 A TW99108527 A TW 99108527A TW 99108527 A TW99108527 A TW 99108527A TW I401612 B TWI401612 B TW I401612B
Authority
TW
Taiwan
Prior art keywords
image
bird
images
eye view
brightness
Prior art date
Application number
TW99108527A
Other languages
English (en)
Other versions
TW201133389A (en
Inventor
Hsin Liang Shen
Din Chang Tseng
Kuo Hsiang Cheng
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW99108527A priority Critical patent/TWI401612B/zh
Publication of TW201133389A publication Critical patent/TW201133389A/zh
Application granted granted Critical
Publication of TWI401612B publication Critical patent/TWI401612B/zh

Links

Landscapes

  • Image Processing (AREA)

Description

全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統
本發明係有關一種影像處理方法與系統,尤其是指一種將複數張影像的影像特徵進行演算調整並且重組之全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統。
影像輔助駕駛的技術已經行之有年,然而習用的影像輔助駕駛的技術中,多半是擷取影像之後,直接顯示給使用者。雖然有可取之處,但是隨著影像擷取單元的數量增加,在一個顯示器中顯示多個影像,對於駕駛者而言反而是一種視覺負擔。因此,鳥瞰影像的重組技術便應運而生。在先進安全車輛的設計中,以利用架設於移動載具周遭的影像擷取單元發展影像式的全周鳥瞰輔助駕駛系統,為近年來各車廠及車輛系統商的主要研發技術。藉由影像轉換與處理,將一般影像擷取單元所擷取的影像進行鳥瞰轉換,再予以拼接組合以形成的全周鳥瞰影像,可以提供駕駛者參考,進而提昇駕駛的安全性。
然而於習知的全周鳥瞰輔助技術或是已呈現的商品中,雖然載具各方向所架設之影像擷取單元取像以能涵蓋載具周圍環境之方式架設,不過由於一般行車環境下所接受之入射光源方向(如日光、對向來車的車燈)之不一致,致使取得的影像亮度無法統一,故所組成之全周鳥瞰影像中各區域之亮度將隨著不同之影像擷取單元所感測到的光源強度而產生不一致之現象,因此降低了輔助識別的效果。
為了克服鳥瞰影像中亮度不均勻之問題,習用技術中,如德國專利公開號DE 10 2008 057 671揭露一種調整方法,其係於將多張影像重組產生單一鳥瞰影像後,根據特定方向(譬如前方)的影像來源,計算其亮度值,將其餘方向的影像都以此亮度值為己身的亮度資訊,最後利用載具移動方向去改變參考的來源影像方向。而在日本公開號JP 2004 356 869則揭露一種根據後方影像來源的亮度,在昏暗的環境下自動提升亮度值,然後記錄此亮度值後,給予其他影像擷取單元當作標準,最後產生一全周鳥瞰影像。
本發明提供一種全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統,其係針對特定單一方向的之影像擷取單元所擷取之影像資訊作為標準影像,利用演算法將該標準影像之影像特徵平均與影像特徵變異值與每一張其他影像所具有之影像特徵平均與影像特徵變異值進行演算,來改變其他每一張影像中的每一像素所具有的影像特徵值,以均勻化每一張影像所具有之影像特徵,而縮小的影像間的反差。然後,再將複數張影像進行重組以得到影像特徵均勻化之鳥瞰影像。
在一實施例中,本發明提供一種全周鳥瞰影像亮度均化方法,其係包括有下列步驟:提供複數個影像擷取單元,其係提供複數張影像;決定一標準影像;根據該標準影像所具有之該影像特徵平均值以及該影像特徵變異值,以一調整程序對其他影像中的每一個像素進行演算調整;以及以一重組程序對該複數張影像進行重組以形成一鳥瞰影像。
在另一實施例中,本發明提供一種全周鳥瞰影像形成系統,其係包括有:複數個影像擷取單元,其係分別擷取一影像;以及一控制單元,其係與該複數個影像擷取單元電訊連接,該控制單元根據一標準影像所具有之該影像特徵平均值以及該影像特徵變異值,以一調整程序對其他影像中的每一個像素進行演算調整;以及以一重組程序對該複數張影像進行重組以形成一鳥瞰影像。
為使 貴審查委員能對本發明之特徵、目的及功能有更進一步的認知與瞭解,下文特將本發明之裝置的相關細部結構以及設計的理念原由進行說明,以使得審查委員可以了解本發明之特點,詳細說明陳述如下:
請參閱圖一所示,該圖係為本發明之全周鳥瞰影像亮度均化方法實施例流程示意圖。該全周鳥瞰影像亮度均化方法2首先以步驟20提供複數個影像擷取單元,其係提供複數張影像。在本步驟中,該複數個影像擷取單元係分別擷取關於一中心區域或位置之週圍環境影像。該中心區域或者是位置可以為一固定物體,例如:電線桿等:或者是一可移動載具,例如:車輛等,但不以此為限。每一個影像擷取單元係擷取不同方位角的影像。在本實施例中,該複數個影像擷取單元係分別設置於一移動載具上,例如:車輛上,其係分別設置於該移動載具之前、左、右與後方,以擷取關於該移動載具之前方、左方、右方與後方之影像。該影像擷取裝置之數量並不以前述四個為限制,可以根據需要而增加或減少。
請參閱圖二A至圖二D所示,該圖為該複數張影像示意圖。由於環境光源方向不同,會造成輸入影像差異性之問題,在圖二A至圖二D中,雖然相同之光源由左上方向該移動載具入射,但是對於不同位置之影像擷取單元而言代表不同方向與強度之光源,故其影像成像之品質與亮度亦有所不同。例如:圖二A中在移動載具左方之影像93最亮、圖二B中所示之關於移動載具前方之影像91次亮、圖二D中關於移動載具後方92之影像次暗,以及在圖二C中關於移動載具之右方影像94最暗。
再回到圖一所示,接著進行步驟21決定一標準影像。在本實施例中,決定該標準影像之方式係為根據每一影像擷取單元所擷取之影像所具有之一影像特徵平均值以及一影像特徵變異值,由該複數個影像中選取一影像作為標準影像。在本實施例中,該影像特徵係指亮度。以圖二A至圖二D為例,每一個影像所呈現出的亮度有差異,因此藉由步驟21先以式(1)與式(2)求出每一張影像之亮度平均值以及一亮度變異值。
其中μ k 為第k 張影像之亮度平均值,σ k 為第k 張影像之亮度變異值,mn 為影像之尺寸,I k (p i )為第k 張影像於p i 像素位置之亮度值。求出各個影像的亮度平均值與亮度變異值之後,根據亮度平均值在由該複數張影像選出一標準影像。如圖三所示,該圖係為由該複數張影像選擇標準影像流程示意圖。首先以步驟210決定一理想影像特徵值。該理想影像特徵值係為理想亮度值。決定的方式可以事先根據不同場合,例如:晴天、雨天、陰天等環境的亮度狀態建立一理想亮度值資料庫作為基準。然後即可根據情況選擇適當的理想亮度值。有了該理想亮度值之後,再進行步驟211選擇該複數張影像中所具有之該影像特徵平均值最接近該理想影像特徵值之影像作為該標準影像。在步驟211中,即根據式(1)所求得的關於各個影像的亮度平均值與步驟210中的理想亮度值進行比較,選擇最靠近該理想亮度值之影像作為標準影像。除了前述之決定標準影像之方式外,亦可以讓使用者或駕駛者根據當時之狀況自行選擇其中一種影像作為標準影像或者是以特定位置之影像擷取單元所擷取之影像作為標準影像。
再回到圖一所示,決定了標準影像之後,再以步驟22根據該標準影像所具有之該影像特徵平均值以及該影像特徵變異值,以一調整程序對其他影像中的每一個像素進行演算調整。請參閱圖四所示,該圖係為調整程序流程示意圖。首先以步驟220,由該其他張影像中選取其中一張影像。接著以步驟221根據該標準影像所具有之該影像特徵平均值以及該影像特徵變異值以及被選取之該影像所具有之該影像特徵平均值以及該影像特徵變異值之間的關係進行一演算以得到關於每一像素所具有之一亮度轉換值。在步驟221中,主要是對每一張非標準影像中的每一個像素p i 進行調整。而調整之演算式係為如式(3)所示:
其中,為該被選取之影像中第i個像素所具有之亮度轉換值,該被選取之影像第i個像素所具有之原本亮度值,為被選取影像之平均亮度值與變異亮度值,μreference 與σreference 為該標準影像所具有之平均亮度值與變異亮度值。之後,再進行步驟222,選擇另一影像並重複前述步驟,直到將所有影像之每一像素調整完畢為止。以圖二A至圖二D為例,當以圖二B為標準影像時,則分別對圖二A、圖二C與圖二D之影像中每一個像素根據式(3)的演算法則,調整圖二A、圖二C與圖二D之影像像素所具有的亮度值。經過式(3)的演算之後,可以均勻化每一張影像所具有的影像特徵值。
再回到圖一所示,步驟22之後,再進行步驟23以一重組程序對該複數張影像進行重組以形成一鳥瞰影像。如圖五所示,該圖係為本發明之全周鳥瞰影像無縫接合方法實施例流程示意圖。要說明的是,步驟23之重組程序並不以圖五所示之方式為限制,習用技術之重組方法亦可以使用。圖五中,該方法首先以步驟31,對該複數張影像進行視角轉換以形成複數張鳥瞰影像。在本步驟中,如圖六A所示,主要是由架設於不同位置之影像擷取單元所取得的影像後,利用校正技術消除魚眼或者是變形的效應,然後將各個環境影像轉換成鳥瞰平面之鳥瞰影像,以形成圖六B所示之狀態。圖六A係為各個影像擷取單元所擷取之影像示意圖。在圖六A中,移動載具90上的前、後、左與右各設置有一影像擷取單元900~903,其分別所擷取環境影像91~94。在圖六B中,鳥瞰影像91a~94a,分別對應該載具之前、後,左與右側之環境影像91~94。至於消除與眼以及轉換成鳥瞰影像之影像處理技術係屬於習用之技術,在此不作贅述。
再回到圖五所示,接著進行步驟32,取得相鄰兩鳥瞰影像所具有之一重疊區域。如圖六A所示,以影像擷取單元900與903為例,影像擷取單元900與903所具有之影像擷取範圍95與96具有重疊的部分,也就是說,關於該載具之環境影像91與94中會具有重疊的物體。因此,在圖六B中,經過鳥瞰視角轉換所形成的相鄰的鳥瞰影像,例如:鳥瞰影像91a與93a、鳥瞰影像91a與94a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間會有重疊的區域。因此,藉由步驟32可以將重疊區域找出。請參閱圖七所示,該圖係為本發明之尋找重疊區域流程示意圖。首先以步驟320,決定一參考平面。在本步驟中,該參考平面係可以為地平面為主,但不以此為限。接著進行步驟321,於該相鄰之鳥瞰影像中尋找出,落於該參考平面上且相互對應之至少一特徵點。如圖六C所示,該圖係為鳥瞰影像中之特徵點示意圖。在圖六C中,於鳥瞰影像91a與94a中,分別具有對應之物體910與940,而物體910與940上則可以尋找出落於參考平面上的特徵點P1與P2以及P1’與P2’。要說明的是,該特徵點可為圖樣、線條、文字,但不以此為限。
個別尋找出對應之特徵點之後,再來進行步驟322,對該兩相鄰之鳥瞰影像進行影像之幾何調整,使兩相鄰之鳥瞰影像中相對應之該至少一特徵點之對應誤差最小。該誤差係為該兩相鄰之鳥瞰影像中相對應之至少一特徵點所具有之特徵資訊差值的平均平方和,其係可以表示成如下式(4)所示:
式(4)之中假設共有n 個特徵點,配合圖六C所示,其中 q 1i 為影像特徵點i 在鳥瞰影像91a之位置,而 p 2i 為影像特徵點i 在鳥瞰影像94a之位置。M rigid ( x )是一影像轉換機制,在本實施例中包括影像旋轉、位移及縮放,I j ( x )為第j 張鳥瞰影像中之在座標 x 的位置中所對應之特徵點所具有之特徵資訊,在本實施例中,該特徵資訊包括亮度及色彩。如圖六D所示,該圖係為相鄰兩鳥瞰影像調整示意圖。在不同的調整位置下,都會對應有一個err值,當該err值最小時,即是代表鳥瞰影像91a與94a的特徵點P1與P2以及P1’與P2’幾乎重疊在一起。在err最小時所對應之相鄰兩鳥瞰影像的疊合狀態則如圖六E所示。此時,需限區域即為相鄰兩鳥瞰影像91a與94a之重疊區域97。基於前述之方式,亦可以尋找出相鄰鳥瞰影像91a與93a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間的重疊區域。
請參閱圖五所示,界定出重疊區域之後,隨後進行步驟33,藉由複數次權重運算以得到每一相鄰兩鳥瞰影像間之一疊合影像。為了讓將來這些重疊區域在影像組合之後可以貼近反應載具周圍之狀態,並免死角的產生,藉由必須藉由步驟23利用權重運算的方式,將兩張鳥瞰影像相互重疊的區域整合成單一之重疊影像。如圖八所示,該圖係為本發明之權重運算流程示意圖。每一次之權重運算更包括有利用步驟330,求得每一疊合影像中之每一疊合像素與該重疊區域中關於該兩相鄰重疊影像之一邊界距離。本步驟之意義在於,假設重疊區域97為該疊合影像之範圍,因此重疊區域內的每一個像素與該重疊區域於該兩相臨鳥瞰影像間的邊界上可以求得一距離。如圖六E所示,該重疊區域97內的疊合像素P3與重疊區域97於鳥瞰影像91a與94a的邊界970與971間分別具有一距離d2與d1。
再回到圖八所示,接著進行步驟331,根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重。如下式(5)與(6)所示,
如圖六E所示,根據距離所決定的權重w1 係代表鳥瞰影像91a中對應疊合像素P3之像素對於形成像素P3之貢獻度;同理,權重w2 係代表鳥瞰影像94a中對應疊合像素P3之像素對於形成像素P3之貢獻度。
再回到圖八所示,決定權重之後,接著即以步驟332,將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一影像特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵。如下式(7)所示:
根據式(7)可以得知,重疊區域內之每一個疊合像素的構成係為相鄰鳥瞰影像上對應該重疊區域中之疊合像素P3之像素所具有之特徵資訊(顏色、亮度或對比度等)與權重值相乘的總和。如圖六E所示,圖六E中重疊區域97中其它疊合像素而言,也都是利用步驟330至332的演算方式得知。同樣地,對於圖六B中之其他相鄰之鳥瞰影像91a與93a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間的重疊影像亦是利用前述之方式計算而得。再回到圖五所示,最後進行步驟34,將該複數張鳥瞰影像中所具有之非重疊影像以及相鄰鳥瞰影像間之疊合影像進行組合以得到一全周鳥瞰影像訊號,以形成如圖六F所示之全周無接縫之鳥瞰影像98,其重疊合成區域981即如前述圖六E所示之結合狀態。由於本發明中對於相鄰之兩鳥瞰影像間的處理方式,是根據距離的關係來決定權重值,因此相鄰兩鳥瞰影像對於重疊區域內的每一個像素都有一定比例之貢獻,藉由此方式,不但不需要拼接影像而解除影像部連續之問題,而且在演算後可以形成平順而無接縫的全周鳥瞰影像。再回到圖一所示,形成全周鳥瞰影像之後可以進行步驟24將該全周鳥瞰影像之影像訊號傳輸至一顯示單元以顯示該全周鳥瞰影像。
請參閱圖九A與圖九B所示,該圖係為本發明之全周鳥瞰影像形成系統實施例示意圖。該系統4包括有複數個影像擷取單元40、一控制單元41以及一顯示單元42。該複數個影像擷取單元40,其係分別設置於一移動載具90之不同位置上,每一影像擷取單元40係產生一影像。該移動載具90係可為一車輛,而該複數個影像擷取單元40,其係可為一照相機或動態影像攝影裝置,其可以設置在該移動載具90之前方、後方、左方(後視鏡的位置)與右方(後視鏡的位置),但不以此為限制。該複數個影像擷取單元40之數量係根據需要而定,並不以本發明之圖示中之四個影像擷取單元為限制。每一個影像擷取單元40會擷取影像以形成影像。由於有複數個影像擷取單元40,因此可以產生複數張影像。每一個影像擷取單元係可為電耦合感測元件(charged coupled device,CCD)或者是金屬互補式金屬-氧化層-半導體(complementary metal oxide semiconductor,CMOS)的感光元件。該影像擷取單元之影像擷取水平視角允許範圍60~190度,影像擷取頻率為15~30Frames/sec;即時影像輸出達15~20Frames/sec。要說明的是,上述影像擷取單元之視角及影像偵測距離規格需依照車型及安裝位置的不同而有所調適,因此並不以實施例為限制。
該控制單元41,其係與該複數個影像擷取單元40相耦接,以接收該複數張影像。該控制單元41係執行圖一、圖三與圖四之流程,決定一標準影像,再根據該標準影像所具有之該影像特徵平均值以及該影像特徵變異值,以一調整程序對其他影像中的每一個像素進行演算調整;並且可以進行圖五、圖七與圖八之影像處理流程,以得到關於該載具之周圍環境之一全周鳥瞰影像訊號。在本實施例中,該控制單元41更包括有一影像接收介面410、一運算處理單元411、一影像輸出介面412以及一記憶模組413。該影像接收介面410,其係與該複數個影像擷取單元40相耦接,以接收該複數個影像。該運算處理單元411,其係接收該複數個影像,以進行圖五、圖七與圖八影像處理運算流程以對該複數個影像進行處理以形成該全周鳥瞰影像訊號。該記憶模組413,其係與該運算處理單元411相耦接。本實施例中,該記憶模組413更具有一靜態隨機存取記憶體4130(static random access memory,SRAM)模組以及一快閃記憶體4131(flash)模組。該影像輸出界面412,其係與該運算處理單元411以及該顯示單元42相耦接,以將該全周鳥瞰影像訊號傳給該顯示單元42。此外,該控制單元41更具有一電源介面414以接收電壓源以及載具訊號介面415以接收載具所產生之訊號。該顯示單元42,其係設置於該移動載具90內並與該控制單元41相耦接,該顯示單元42係接收該全周鳥瞰影像訊號,並顯示對應之全周鳥瞰影像。
惟以上所述者,僅為本發明之實施例,當不能以之限制本發明範圍。即大凡依本發明申請專利範圍所做之均等變化及修飾,仍將不失本發明之要義所在,亦不脫離本發明之精神和範圍,故都應視為本發明的進一步實施狀況。
2...全周鳥瞰影像亮度均化方法
20~24...步驟
210~211...步驟
220~222...步驟
3...全周鳥瞰影像無縫接合方法
31~34...步驟
320~322...步驟
330~332...步驟
4...全周鳥瞰影像無縫接合系統
40...影像擷取單元
41...控制單元
410...影像接收介面
411...運算處理單元
412...影像輸出介面
413...記憶模組
4130...靜態隨機存取記憶體
4131...快閃記憶體
414...電源介面
415...載具訊號介面
42...顯示單元
90...移動載具
900~903...影像擷取單緣
91~94...影像
91a~94a...鳥瞰影像
910、940...物體
95、96...影像擷取範圍
97...重疊區域
98...全周無接縫之鳥瞰影像
981...重疊合成區域
圖一係為本發明之全周鳥瞰影像亮度均化方法實施例流程示意圖。
圖二A至圖二D係為複數張影像示意圖。
圖三係為由複數張影像選擇標準影像流程示意圖。
圖四係為調整程序流程示意圖。
圖五係為本發明之全周鳥瞰影像無縫接合方法實施例流程示意圖。
圖六A係為各個影像擷取單元所擷取之影像示意圖。
圖六B係為各個影像轉換成鳥瞰影像示意圖。
圖六C係為鳥瞰影像中之特徵點示意圖。
圖六D係為相鄰兩鳥瞰影像調整示意圖。
圖六E係為相鄰兩鳥瞰影像根據權重疊合完成示意圖。
圖六F係經過影像處理之後所形成之全周鳥瞰影像示意圖。
圖七係為本發明之尋找重疊區域流程示意圖。
圖八係為本發明之權重運算流程示意圖。
圖九A與圖九B係為本發明之全周鳥瞰影像形成系統實施例示意圖。
2...全周鳥瞰影像亮度均化方法
20~24...步驟

Claims (20)

  1. 一種全周鳥瞰影像亮度均化方法,其係包括有下列步驟:提供複數個影像擷取單元,其係提供複數張影像;決定一標準影像;根據該標準影像所具有之該影像特徵平均值以及該影像特徵變異值,以一調整程序對其他影像中的每一個像素進行演算調整;以及以一重組程序對該複數張影像進行重組以形成一鳥瞰影像。
  2. 如申請專利範圍第1項所述之全周鳥瞰影像亮度均化方法,其中該影像特徵係為亮度。
  3. 如申請專利範圍第1項所述之全周鳥瞰影像亮度均化方法,其中該調整程序包括有下列步驟:由該其他張影像中選取其中一張影像;根據該標準影像所具有之該影像特徵平均值以及該影像特徵變異值以及被選取之該影像所具有之該影像特徵平均值以及該影像特徵變異值之間的關係進行一演算以得到關於每一像素所具有之一亮度轉換值;以及選擇另一影像並重複前述步驟,直到將所有影像之每一像素調整完畢為止。
  4. 如申請專利範圍第3項所述之全周鳥瞰影像亮度均化方法,其中該影像特徵係為亮度,而該演算係為: 其中,為該被選取之影像中第i個像素所具有之影像特徵轉換值,該被選取之影像第i個像素所具有之原本影像特徵值,為被選取影像之影像特徵平均值與影像特徵變異值,μreference 與σreference 為該標準影像所具有之影像特徵平均值與影像特徵變異值。
  5. 如申請專利範圍第1項所述之全周鳥瞰影像亮度均化方法,其中決定該標準影像之方式係可根據每一影像擷取單元所擷取之影像所具有之一影像特徵平均值以及一影像特徵變異值,由該複數個影像中選取一影像作為標準影像、手動選取或者是以特定位置之影像擷取單元所擷取之影像作為標準影像。
  6. 如申請專利範圍第5項所述之全周鳥瞰影像亮度均化方法,其中由該複數個影像中選取一影像作為標準影像之方式更包過有下列步驟:決定一理想影像特徵值;以及選擇該複數張影像中所具有之該影像特徵平均值最接近該理想影像特徵值之影像作為該標準影像。
  7. 如申請專利範圍第1項所述之全周鳥瞰影像亮度均化方法,其中該重組程序更包括有下列步驟:對該複數張調整後之影像進行視角轉換以形成複數張鳥瞰影像;取得相鄰兩鳥瞰影像所具有之一重疊區域;藉由複數次之權重運算以得到每一相鄰兩鳥瞰影像間之一疊合影像,每一次權重運算更包括有下列步驟:求得每一疊合影像中之每一疊合像素與該重疊區域中關於該兩相鄰重疊影像之一邊界距離;根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重;以及將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵;以及將該複數張鳥瞰影像中所具有之非重疊影像以及相鄰鳥瞰影像間之疊合影像進行組合以得到一全周鳥瞰影像訊號。
  8. 如申請專利範圍第7項所述之全周鳥瞰影像亮度均化方法,其中決定該重疊區域更包括有下列步驟:決定一參考平面;於該相鄰之鳥瞰影像中尋找出,落於該參考平面上且相互對應之至少一特徵點;以及對相鄰之兩鳥瞰影像進行調整,使兩相鄰之鳥瞰影像中相對應之該至少一特徵點之對應誤差最小。
  9. 如申請專利範圍第8項所述之全周鳥瞰影像亮度均化方法,其中該調整方式係為藉由旋轉、縮放或平移的方式進行調整。
  10. 如申請專利範圍第8項所述之全周鳥瞰影像亮度均化方法,其中該誤差係為該兩相鄰之鳥瞰影像中相對應之至少一特徵點所具有之特徵資訊差值的平均平方和。
  11. 如申請專利範圍第7項所述之全周鳥瞰影像亮度均化方法,其中該特徵係為亮度以及色彩。
  12. 一種全周鳥瞰影像形成系統,其係包括有:複數個影像擷取單元,其係分別擷取一影像;以及一控制單元,其係根據一標準影像所具有之該影像特徵平均值以及該影像特徵變異值,以一調整程序對其他影像中的每一個像素進行演算調整;以及以一重組程序對該複數張影像進行重組以形成一鳥瞰影像。
  13. 如申請專利範圍第12項所述之全周鳥瞰影像形成系統,其中該影像特徵係為亮度。
  14. 如申請專利範圍第12項所述之全周鳥瞰影像形成系統,其中該控制單元所進行之調整程序係為由該其他張影像中選取其中一張影像;以及根據該標準影像所具有之該影像特徵平均值以及該影像特徵變異值以及被選取之該影像所具有之該影像特徵平均值以及該影像特徵變異值之間的關係進行一演算以得到關於每一像素所具有之一亮度轉換值。
  15. 如申請專利範圍第14項所述之全周鳥瞰影像形成系統,其中該影像特徵係為亮度,而該演算係為: 其中,為該被選取之影像中第i個像素所具有之亮度轉換值,該被選取之影像第i個像素所具有之原本亮度值,為被選取影像之平均亮度值與變異亮度值,μreference 與σreference 為該標準影像所具有之平均亮度值與變異亮度值。
  16. 如申請專利範圍第12項所述之全周鳥瞰影像形成系統,其中該控制單元決定該標準影像之方式係可根據每一影像擷取單元所擷取之影像所具有之一影像特徵平均值以及一影像特徵變異值,由該複數個影像中選取一影像作為標準影像、接收手動選取之影像或者是以特定位置之影像擷取單元所擷取之影像作為標準影像。
  17. 如申請專利範圍第16項所述之全周鳥瞰影像形成系統,其中該控制單元由該複數個影像中選取一影像作為標準影像時,係根據一理想影像特徵值,然後選擇該複數張影像中所具有之該影像特徵平均值最接近該理想影像特徵值之影像作為該標準影像。
  18. 如申請專利範圍第12項所述之全周鳥瞰影像形成系統,其中該控制單元更耦接有一顯示單元以顯示該鳥瞰影像。
  19. 如申請專利範圍第12項所述之全周鳥瞰影像形成系統,其中該複數個影像擷取單元係設置於一移動載具上,該複數個影像擷取單元係擷取關於該移動載具周圍環境之影像。
  20. 如申請專利範圍第12項所述之全周鳥瞰影像形成系統,其中該控制單元更具有一影像輸入介面與該複數個影像擷取單元電訊連接、一運算處理器與該影像輸入介面電訊連接以對該複數個影像進行處理轉換成該鳥瞰影像,以及一影像輸出介面係與一顯示單元電訊連接以顯示該鳥瞰影像。
TW99108527A 2010-03-23 2010-03-23 全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統 TWI401612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW99108527A TWI401612B (zh) 2010-03-23 2010-03-23 全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW99108527A TWI401612B (zh) 2010-03-23 2010-03-23 全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統

Publications (2)

Publication Number Publication Date
TW201133389A TW201133389A (en) 2011-10-01
TWI401612B true TWI401612B (zh) 2013-07-11

Family

ID=46751205

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99108527A TWI401612B (zh) 2010-03-23 2010-03-23 全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統

Country Status (1)

Country Link
TW (1) TWI401612B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918010B2 (en) 2015-06-30 2018-03-13 Industrial Technology Research Institute Method for adjusting vehicle panorama system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI578268B (zh) * 2012-02-22 2017-04-11 能晶科技股份有限公司 鳥瞰影像系統及其補償方法
TWI488764B (zh) 2013-03-15 2015-06-21 Ind Tech Res Inst 鄰車動態駕駛資訊輔助系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268131A1 (en) * 2002-06-21 2006-11-30 Microsoft Corporation System and method for camera calibration and images stitching
TWI293610B (zh) * 2006-04-28 2008-02-21
US20080075391A1 (en) * 2006-09-22 2008-03-27 Cyclomedia Technology B.V. Method and system for producing an image from a vehicle
US20090214134A1 (en) * 2008-02-27 2009-08-27 Motorola, Inc. System and method for image data extraction and assembly in digital cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268131A1 (en) * 2002-06-21 2006-11-30 Microsoft Corporation System and method for camera calibration and images stitching
TWI293610B (zh) * 2006-04-28 2008-02-21
US20080075391A1 (en) * 2006-09-22 2008-03-27 Cyclomedia Technology B.V. Method and system for producing an image from a vehicle
US20090214134A1 (en) * 2008-02-27 2009-08-27 Motorola, Inc. System and method for image data extraction and assembly in digital cameras

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918010B2 (en) 2015-06-30 2018-03-13 Industrial Technology Research Institute Method for adjusting vehicle panorama system

Also Published As

Publication number Publication date
TW201133389A (en) 2011-10-01

Similar Documents

Publication Publication Date Title
TWI417639B (zh) 全周鳥瞰影像無縫接合方法與系統
US10791310B2 (en) Method and system of deep learning-based automatic white balancing
Zhang et al. A surround view camera solution for embedded systems
US20170230570A1 (en) Image processing device, photographing control method, and program
CN110139084B (zh) 车辆周围影像处理方法及装置
US8774495B2 (en) Image synthesizing apparatus and method of synthesizing images
TWI578268B (zh) 鳥瞰影像系統及其補償方法
US10148871B2 (en) Advanced raw conversion to produce high dynamic range, wide color gamut output
JP5935432B2 (ja) 画像処理装置、画像処理方法及び撮像装置
CN102438153A (zh) 多摄像机图像校正方法和设备
WO2021022592A1 (zh) 一种成像补偿装置、成像补偿方法及其应用
CN110741412B (zh) 图像处理装置和方法
US10582132B2 (en) Dynamic range extension to produce images
CN106994936A (zh) 一种3d全景泊车辅助系统
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
US20120257088A1 (en) Image processing apparatus and method thereof
TWI401612B (zh) 全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
JP2016058840A (ja) 撮像装置、画像処理装置、撮像方法及びプログラム
KR101816068B1 (ko) 차량 주변 감지 시스템 및 이를 이용한 차량 주변 감지 방법
CN102905077B (zh) 一种图像暗角亮度调节方法及装置
JP7415707B2 (ja) 撮像装置、補正方法、及び、プログラム
TWI497448B (zh) 影像強化方法及其系統
Kim et al. Hemispherical 3D around view monitoring algorithm using image synthesis of multi-channel cameras
JP2021175166A (ja) 投影システム、投影方法、プログラム