TWI745955B

TWI745955B - 擴增實境系統與其錨定顯示方法

Info

Publication number: TWI745955B
Application number: TW109115102A
Authority: TW
Inventors: 黃昭世
Original assignee: 宏碁股份有限公司
Priority date: 2020-05-06
Filing date: 2020-05-06
Publication date: 2021-11-11
Also published as: US11205309B2; TW202143018A; US20220058887A1; US20210350633A1; US11682183B2

Abstract

一種擴增實境系統與其錨定顯示方法。透過頭戴式顯示裝置上的影像擷取裝置擷取一環境影像。藉由對環境影像與顯示器的顯示影像進行特徵匹配，偵測環境影像中匹配於顯示影像的參考影像區塊。獲取參考影像區塊於環境影像中的位置資訊。依據顯示器的實際螢幕尺寸與環境影像中參考影像區塊的區塊尺寸獲取顯示器的深度資訊。依據位置資訊與深度資訊透過頭戴式顯示裝置顯示至少一虛擬物件。至少一虛擬物件顯示為錨定於顯示器的至少一顯示邊框上。

Description

擴增實境系統與其錨定顯示方法

本發明是有關於一種擴增實境設備，且特別是有關於一種擴增實境系統與其錨定顯示方法。

隨著科技的發展，擴增實境（Augmented Reality，AR）技術的應用越來越多，AR技術將虛擬的資訊應用到真實世界。

另一方面，隨著資訊處理量的增加，單一螢幕的筆記型電腦已逐漸無法滿足工作者的需求。一般而言，位於辦公室內的使用者，可將筆記型電腦連接至另一台桌上型顯示器，以使用多螢幕顯示功能來提昇工作效率。但是，在外辦公的使用者無法隨身攜帶體積龐大的桌上型顯示器，因而較難以享受多螢幕顯示功能帶來的便利。

有鑑於此，本發明提出一種擴增實境系統與其錨定顯示方法，其可透過頭戴顯示器顯示錨定於顯示器的顯示邊框上的虛擬物件。

本發明實施例提供一種擴增實境系統的錨定顯示方法，包括下列步驟。透過頭戴式顯示裝置上的影像擷取裝置擷取一環境影像。藉由對環境影像與顯示器的顯示影像進行特徵匹配，偵測環境影像中匹配於顯示影像的參考影像區塊。獲取參考影像區塊於環境影像中的位置資訊。依據顯示器的實際螢幕尺寸與環境影像中參考影像區塊的區塊尺寸獲取顯示器的深度資訊。依據位置資訊與深度資訊透過頭戴式顯示裝置顯示至少一虛擬物件。至少一虛擬物件顯示為錨定於顯示器的至少一顯示邊框上。

本發明實施例提供一種擴增實境系統，其包括頭戴式顯示裝置以及計算機裝置。頭戴式顯示裝置包括影像擷取裝置，而影像擷取裝置擷取一環境影像。計算機裝置連接頭戴式顯示裝置，並包括顯示器、儲存裝置以及處理器。顯示器顯示一顯示影像。處理器耦接顯示器與儲存裝置，經配置以執行下列步驟。藉由對環境影像與顯示器的顯示影像進行特徵匹配，偵測環境影像中匹配於顯示影像的參考影像區塊。獲取參考影像區塊於環境影像中的位置資訊。依據顯示器的實際螢幕尺寸與環境影像中參考影像區塊的區塊尺寸獲取顯示器的深度資訊。依據位置資訊與深度資訊透過頭戴式顯示裝置顯示至少一虛擬物件。至少一虛擬物件顯示為錨定於顯示器的至少一顯示邊框上。

基於上述，於本發明的實施例中，透過對環境影像與顯示器的顯示影像進行特徵匹配，可辨識出環境影像中顯示器的顯示邊框，進而獲取顯示邊框的位置資訊。此外，依據顯示器的實際螢幕尺寸與環境影像中顯示邊框的成像長度，可估測出顯示器的深度資訊。當依據位置資訊與深度資訊透過頭戴式顯示裝置顯示虛擬物件時，虛擬物件可顯示為準確地且穩定地錨定於顯示器的至少一顯示邊框上。藉此，虛擬物件的錨定顯示不僅可讓使用者感受到多螢幕功能的便利，並且可提昇使用者觀看虛擬物件的觀看體驗。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與系統的範例。

圖1是依照本發明一實施例的擴增實境系統的示意圖。請參照圖1，擴增實境系統10包括頭戴式顯示裝置110以及計算機裝置120。頭戴式顯示裝置110可用於向使用者提供擴增實境（AR）內容，例如是擴增實境眼鏡。在一實施例中，頭戴式顯示裝置110可連接於一計算機裝置120，而此計算機裝置120可將相關的AR內容提供予頭戴式顯示裝置110，再由頭戴式顯示裝置110呈現予使用者觀看。計算機裝置120例如是筆記型電腦、智慧型手機、平板電腦、電子書、遊戲機等具有顯示功能的電子裝置，本發明並不對此限制。頭戴式顯示裝置110可透過有線或無線的通信方式而與計算機裝置120溝通，本發明對此不限制。舉例而言，頭戴式顯示裝置110可透過USB介面與計算機裝置120進行資料傳輸。

頭戴式顯示裝置110包括影像擷取裝置111以及顯示器112。影像擷取裝置111用以擷取環境影像並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。在一實施例中，影像擷取裝置111固定設置於頭戴式顯示裝置110上，並用於拍攝位於頭戴式顯示裝置110前方的實際場景。舉例而言，當使用者配戴頭戴式顯示裝置110時，影像擷取裝置111可位於使用者雙眼之間或位於某一眼外側而朝使用者前方的實際場景進行拍攝動作。

顯示器112是具有一定程度的光線穿透性的顯示裝置，使用者觀看時能夠呈現出相對於觀看者另一側的實際場景。顯示器112可以液晶、有機發光二極體、電子墨水或是投影方式等顯示技術顯示虛擬物件，其具有半透明或是透明的光學鏡片。因此，使用者透過顯示器112所觀看到的內容將會是疊加虛擬物件的實體場景。在一實施例中，顯示器112可實作為擴增實境眼鏡的鏡片。

然而，除了影像擷取裝置111以及顯示器112之外，頭戴式顯示裝置110更可包括未繪示於圖1的元件，像是運動感測器、揚聲器、控制器以及各式通信介面等等，本發明對此不限制。

另一方面，計算機裝置120包括顯示器121、儲存裝置122，以及處理器123。顯示器121可以是液晶顯示器（Liquid Crystal Display，LCD）、發光二極體（Light Emitting Diode，LED）顯示器、有機發光二極體（Organic Light Emitting Diode，OLED）等各類型的顯示器，本發明對此不限制。

儲存裝置122用以儲存資料與供處理器123存取的程式碼（例如作業系統、應用程式、驅動程式）等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或其組合。

處理器123耦接顯示器121以及儲存裝置122，例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路及其組合。處理器123可存取並執行記錄在儲存裝置122中的程式碼與軟體元件，以實現本發明實施例中的錨定顯示方法。

然而，除了顯示器121、儲存裝置122以及處理器123之外，計算機裝置120更可包括未繪示於圖1的元件，像是鍵盤、揚聲器以及各式通信介面等等，本發明對此不限制。

圖2是依照本發明一實施例的擴增實境系統的應用情境圖。請參照圖2，當使用者在配戴頭戴式顯示裝置110的情況下觀看顯示器121時，影像擷取裝置111會朝顯示器121的方向拍攝環境影像。計算機裝置120可依據環境影像估測出顯示器121於擴增實境座標系統下的位置資訊與深度資訊。接著，計算機裝置120可依據關聯於顯示器121的位置資訊與深度資訊決定至少一虛擬物件的顯示邊界、顯示尺寸或顯示位置。

基此，當使用者透過頭戴式顯示裝置110的顯示器112觀看顯示器121，使用者可看到疊加虛擬物件的實際場景，其中虛擬物件顯示為錨定於顯示器121的至少一顯示邊框上。換言之，虛擬物件會顯示為固定於顯示器121的上側、左側或右側。如圖2範例所示，當使用者透過頭戴式顯示裝置110的顯示器112觀看顯示器121時，使用者可看到對齊貼合顯示器121的上顯示邊框E_T、左顯示邊框E_L與右顯示邊框E_R的虛擬物件V_T、V_R、V_L。虛擬物件V_T、V_R、V_L可用以提供各種資訊給使用者，例如是視窗、文件、影像、桌面或執行應用程式生成的視覺輸出等等。因此，當使用者透過頭戴式顯示裝置110觀看顯示器121時，可享受到多螢幕顯示功能帶來的便利。然而，圖2僅為一示範說明，本發明對於虛擬物件的數量與其錨定的顯示邊框並不限制。

需說明的是，影像擷取裝置111可定時地拍攝環境影像，而計算機裝置120可持續更新顯示器121於擴增實境座標系統下的位置資訊與深度資訊，並據以持續更新虛擬物件的顯示邊界、顯示尺寸或顯示位置。藉此，在顯示器121位於頭戴式顯示裝置110的視野範圍內的情況下，即便使用者的位置改變或其頭部轉動，虛擬物件依然可顯示為錨定於顯示器121的顯示邊框上。

以下即搭配擴增實境系統10的各元件列舉實施例，以說明錨定顯示方法的詳細步驟。

圖3是依照本發明一實施例的錨定顯示方法的流程圖。請參照圖1與圖3，本實施例的方式適用於上述實施例中的擴增實境系統10，以下即搭配擴增實境系統10中的各項元件說明本實施例之錨定顯示方法的詳細步驟。

於步驟S310，透過頭戴式顯示裝置110上的影像擷取裝置111擷取環境影像。環境影像為位於使用者周遭的實際場景的影像。詳細來說，實際場景的影像關聯於影像擷取裝置111的視野範圍。於一實施例中，影像擷取裝置111可依據一擷取幀率擷取環境影像，環境影像可具有反映拍攝時間的時間標籤。影像擷取裝置111可透過有線傳輸介面或無線傳輸介面將環境影像傳送計算機裝置120。

於步驟S320，藉由對環境影像與顯示器121的顯示影像進行特徵匹配，處理器123偵測環境影像中匹配於顯示影像的參考影像區塊。詳細來說，顯示影像為顯示器121於某一時間點顯示的畫面資料。在使用者操作計算機裝置120的情況下，使用者的目光會注視於顯示器121，因而影像擷取裝置111可拍攝到包括顯示器121的環境影像。也就是說，處理器123可透過比對影像內容而從環境影像中識別出顯示器121。詳細而言，處理器123可依據特徵擷取（feature extraction）演算法分別對環境影像與顯示器121的顯示影像擷取影像特徵。特徵擷取演算法例如是尺度不變特徵轉換（Scale Invariant feature transformation，SIFT）演算法或加速強健特徵（Speeded Up Robust Features，SURF）演算法等等。接著，處理器123可對環境影像中的影像特徵與顯示影像中的影像特徵進行特徵匹配（feature matching）。依據特徵匹配的結果，處理器123可從環境影像中偵測到與顯示器121的顯示影像具有相似影像內容的參考影像區塊。處理器123例如可透過隨機抽樣一致（RANdom SAmple Consensus，RANSAC）演算法而自環境影像中定義出相似於顯示影像的參考影像區塊的區塊邊緣。影像擷取裝置111的拍攝距離與拍攝方向以及顯示器121的擺放方式都會影響參考影像區塊的形狀與尺寸。

更詳細而言，顯示器121的至少一顯示邊框對應於參考影像區塊的至少一區塊邊緣。於一實施例中，虛擬物件將呈現於顯示器121上側、右側或左側。因此，至少一區塊邊緣可包括上區塊邊緣、左區塊邊緣或右區塊邊緣，而顯示器121的至少一顯示邊框可包括上顯示邊框、左顯示邊框或右顯示邊框。顯示器121的上顯示邊框可對應於參考影像區塊的上區塊邊緣。顯示器121的右顯示邊框可對應於參考影像區塊的右區塊邊緣。顯示器121的左顯示邊框可對應於參考影像區塊的左區塊邊緣。

圖4是依照本發明一實施例的對環境影像與顯示影像進行特徵匹配的示意圖。請參照圖4，影像擷取裝置111可擷取環境影像Img_S。依據環境影像Img_S的時間標籤，處理器123可決定對環境影像Img_S與顯示器121的顯示影像Img_D進行特徵匹配，以從環境影像Img_S搜尋出相似於顯示影像Img_D的參考影像區塊B1以及獲取參考影像區塊B1的區塊邊緣。於一實施例中，相比於透過邊緣偵測（edge detection）來偵測顯示器121的位置，處理器123可依據顯示器121之顯示影像更精確地偵測出顯示器121的位置。

值得一提的是，於一實施例中，顯示器121的顯示影像可包括條碼資訊。上述之條碼資訊可以為一維條碼、二維條碼或三維條碼其中之一。本發明對於條碼資訊的位置與數量並不加以限制，其可增加顯示影像的影像特徵，從而提高特徵匹配的準確度。

接著，於步驟S330，處理器123可獲取參考影像區塊於環境影像中的位置資訊。上述的位置資訊可包括參考影像區塊的區塊邊緣於環境影像中的邊緣位置。或者，上述的位置資訊可包括參考影像區塊的角點於環境影像中的角點位置等等。詳細而言，在識別出環境影像中匹配於顯示影像的參考影像區塊後，處理器123可獲取參考影像區塊於環境影像中的像素座標資訊或影像座標資訊。像是，處理器123可獲取參考影像區塊四個角點其中至少二者的像素座標或影像座標，從而定義出參考區塊影像的至少一區塊邊緣於環境影像中的邊緣位置。

舉例而言，請參照圖4，於將虛擬物件呈現於顯示器121的上側的情境中（例如圖2所示的虛擬物件V_T），處理器123可獲取參考影像區塊上方兩個角點C1、C2的角點位置，以將這兩個角點C1、C2之間的上區塊邊緣BE_T設置為虛擬物件的下側顯示邊界。或者，於虛擬物件呈現於顯示器121的左側的情境中（例如圖2所示的虛擬物件V_L），處理器123可獲取參考影像區塊左側兩個角點C1、C3的角點位置，以將這兩個角點C1、C3之間的左區塊邊緣BE_L設置虛擬物件的右側顯示邊界。藉由依據參考影像區塊的位置資訊來設置虛擬物件的顯示邊界，可使得虛擬物件不會遮蔽顯示器121的顯示內容且錨定於某一顯示邊框上。

於步驟S340，處理器123依據顯示器121的實際螢幕尺寸與環境影像中參考影像區塊的區塊尺寸獲取顯示器121的深度資訊。具體而言，顯示器121的實際螢幕尺寸是固定的。於一實施例中，顯示器121的實際螢幕尺寸可記錄於顯示器121的延伸顯示能力識別資料（Extended display identification data，EDID）中，其可包括水平螢幕尺寸（單位：公分）以及垂直螢幕尺寸（單位：公分）。基於針孔成像的相似三角形原理，處理器123可依據顯示器121的實際螢幕尺寸與參考影像區塊的區塊尺寸（即成像尺寸）來估測出顯示器121與影像擷取裝置111之間的距離（即深度資訊）。於一實施例中，參考影像區塊的區塊尺寸可包括至少一區塊邊緣的長度。

舉例而言，於事前的校正測定程序中，可利用影像擷取裝置111拍攝一台參考顯示器而獲取校正影像。假設參考顯示器的預設螢幕尺寸中的水平螢幕尺寸為31公分。對參考顯示器來說，在影像擷取裝置111與參考顯示器相距預設深度（例如50公分）的情況下，校正影像中參考影像區塊的上區塊邊緣的長度可經量測為N個像素（即為對應至預設螢幕尺寸的參考成像長度）。由此可知，若顯示器121的實際螢幕尺寸相同於參考顯示器，且環境影像中參考影像區塊的上區塊邊緣的長度也是N個像素，處理器123可判斷顯示器121與影像擷取裝置111之間的深度資訊等於預設深度。若顯示器121的實際螢幕尺寸相同於參考顯示器，並且環境影像中參考影像區塊的上區塊邊緣的長度小於N個像素，處理器123可判斷顯示器121與影像擷取裝置111之間的深度資訊大於預設深度。舉例而言，若顯示器121的實際螢幕尺寸相同於參考顯示器，並且環境影像中參考影像區塊的上區塊邊緣的長度等於N/2個像素，處理器123可判斷顯示器121與影像擷取裝置111之間的深度資訊為預設深度的兩倍。

承上述，若顯示器121的實際螢幕尺寸不相同於參考顯示器的預設螢幕尺寸，處理器123可依據對應於預設螢幕尺寸的參考成像長度N計算出對應於顯示器121的實際螢幕尺寸的參考成像長度。舉例而言，假設顯示器121的水平螢幕尺寸為35.5公分，則對應於顯示器121的實際螢幕尺寸的參考成像長度等於M個像素，其中M可透過對N*（35.5/31）進行整數化運算而決定。上述整數化運算的方式可包括四捨五入、無條件捨去或無條件進位。總而言之，處理器123可依據環境影像中參考影像區塊的區塊邊緣的長度、對應於顯示器121的實際螢幕尺寸的參考成像長度、以及預設深度來計算出顯示器121的深度資訊。舉例而言，顯示器121的深度資訊L可依據下列公式(1)而產生。 L/預設深度＝參考成像長度/區塊邊緣的長度公式(1) 其中，預設深度（單位：公分）與參考成像長度（單位：像素）可經由事前的校正測定程序而決定，而區塊邊緣的長度（單位：像素）可從環境影像當中獲取。

之後，於步驟S350，處理器123依據位置資訊與深度資訊透過頭戴式顯示裝置110顯示至少一虛擬物件。至少一虛擬物件顯示為錨定於顯示器121的至少一顯示邊框上。詳細而言，於一實施例中，在獲取顯示器121的深度資訊之後，處理器123可依據深度資訊定義出用以呈現虛擬物件的參考平面。處理器123更可依據深度資訊與環境影像提供的位置資訊而獲取虛擬物件於該參考平面上的顯示邊界。基此，處理器123可透過頭戴式顯示裝置110將虛擬物件呈現於參考平面上的顯示邊界內，以使虛擬物件顯示為錨定於顯示器121的至少一顯示邊框上。虛擬物件將錨定於至少一顯示邊框上並不隨頭戴式顯示裝置110移動而改變位置，致使虛擬物件可與實際場景中的顯示器121結合為一體，從而增進視覺體驗與提昇便利性。

此外，需說明的是，處理器123是以顯示器121的顯示影像為依據來偵測顯示器121的位置。因此，相較於透過偵測細小的特殊標記或圖騰來偵測顯示器121的位置，本發明實施例中的環境影像的解析度不會受限於高解析度，從而降低頭戴式顯示裝置110與計算機裝置120之間的資料傳輸量。

然而，本發明的實現方式不限於上述說明，可以對於實際的需求而酌予變更上述實施例的內容。例如，在本發明之一實施例中，顯示器121的傾斜程度可以被估測以進一步提昇深度資訊的估測準確度。

圖5是依照本發明一實施例的錨定顯示方法的流程圖。請參照圖1與圖5，本實施例的方式適用於上述實施例中的擴增實境系統10，以下即搭配擴增實境系統10中的各項元件說明本實施例之錨定顯示方法的詳細步驟。

於步驟S510，處理器123建立擴增實境座標系統與相機座標系統之間的座標轉換關係。由於影像擷取裝置111固定設置於頭戴式顯示裝置110，因此座標轉換關係可事前建立並記錄於儲存裝置122或頭戴式顯示裝置110的儲存裝置之中。此座標轉換關係可包括一旋轉矩陣與一平移向量。此座標轉換關係取決於影像擷取裝置111於擴增實境座標系統中的的擺放位置與拍攝方向，可經由事前測定而產生。擴增實境座標系統與相機座標系統之間的座標轉換關係可透過公式(2)來表示。 X _c= AX _ar+ B公式(2) 其中， X _c表示相機座標系統底下的三維座標， X _ar表示擴增實境座標系統底下的三維座標， A為3*3的旋轉矩陣，而 B為平移向量。

於步驟S520，透過頭戴式顯示裝置110上的影像擷取裝置111擷取環境影像。於步驟S530，處理器123藉由對環境影像與顯示器121的顯示影像進行特徵匹配，偵測環境影像中匹配於顯示影像的一參考影像區塊。於一實施例中，處理器123可於環境影像中與顯示器112的視野範圍重疊的視野重疊區域擷取影像特徵並據以進行特徵匹配。於步驟S540，處理器123判斷是否偵測到匹配於顯示影像的一參考影像區塊。

若步驟S540判斷為否，於步驟S550，反應於未偵測到環境影像中匹配於顯示影像的參考影像區塊，處理器123控制頭戴式顯示裝置110不顯示至少一虛擬物件。具體而言，當環境影像中不存在匹配於顯示影像的參考影像區塊，代表使用者的目光並未注視顯示器121，因而可禁能虛擬物件的顯示。像是，當使用者轉頭向身旁或身後的人交談時，處理器123可禁能虛擬物件的顯示。

若步驟S540判斷為是，於步驟S560，處理器123獲取參考影像區塊於環境影像中的位置資訊，並將參考影像區塊的區塊邊緣設置為虛擬物件的顯示邊界。接著，於步驟S570，處理器123自顯示器121的延伸顯示能力識別資料（EDID）提取顯示器121的實際螢幕尺寸。實際螢幕尺寸可包括顯示器121的螢幕水平尺寸與/或螢幕垂直尺寸。於步驟S580，處理器123藉由比對實際螢幕尺寸所對應的參考成像長度與至少一區塊邊緣的長度，而依據參考成像長度所對應的預設深度估測顯示器121的深度資訊。於一實施例中，處理器123可依據前述公式(1)而依據一個區塊邊緣的長度與一個參考成像長度而估算出顯示器121的深度資訊。或者，於一實施中，處理器123可依據參考影像區塊的水平區塊邊緣（即上區塊邊緣或下區塊邊緣）與垂直區塊邊緣（即左區塊邊緣或右區塊邊緣）的兩組邊緣長度來判斷顯示器121的螢幕傾斜程度與深度資訊。

具體而言，於一實施例中，參考成像長度可包括參考成像高度與參考成像寬度，至少一區塊邊緣的長度包括水平區塊邊緣的第一邊緣長度與垂直區塊邊緣的第二邊緣長度。處理器123可先比較參考成像寬度與第一邊緣長度，並比較參考成像高度與第二邊緣長度。接著，處理器123可依據比較結果與預設深度資訊估測顯示器121的深度資訊。於一實施例中，儲存裝置122可記錄有對應至預設螢幕尺寸與預設深度的參考成像高度與參考成像寬度。依據對應至預設螢幕尺寸的參考成像高度與參考成像寬度，處理器123可計算出對應於顯示器121的實際預設尺寸的參考成像高度與參考成像寬度。

舉例而言，假設預設螢幕尺寸中的螢幕水平尺寸為31公分且螢幕垂直尺寸14.7公分，以及假設預設深度為50公分。基於事前的校正測定程序可知，對應至預設螢幕尺寸與預設深度的參考成像寬度為N1個像素，對應至預設螢幕尺寸與預設深度的參考成像高度為N2個像素。因此，若顯示器121實際預設尺寸中的螢幕水平尺寸為35.5公分且螢幕垂直尺寸為19.4公分，則參考成像寬度與參考成像高度可分別為M1個像素與M2個像素。其中，參考成像寬度M1可透過對N1*（35.5/31）進行整數化運算而決定，而參考成像高度M2可透過對N2*（19.4/14.7）進行整數化運算而決定。

於是，於一實施例中，若環境影像中水平區塊邊緣的第一邊緣長度等於參考成像寬度M1且垂直區塊邊緣的第二邊緣長度等於參考成像高度M2，則處理器123可判定顯示器121的深度資訊等於預設深度。若環境影像中水平區塊邊緣的第一邊緣長度等於參考成像寬度M1且垂直區塊邊緣的第二邊緣長度小於參考成像高度M2，則處理器123可判定顯示器121的深度資訊等於預設深度。若環境影像中水平區塊邊緣的第一邊緣長度小於參考成像寬度M1且垂直區塊邊緣的第二邊緣長度等於參考成像高度M2，則處理器123可判定顯示器121的深度資訊等於預設深度。換言之，當環境影像中水平區塊邊緣的第一邊緣長度等於參考成像寬度或環境影像中垂直區塊邊緣的第二邊緣長度等於參考成像高度時，處理器123可直接判定顯示器121的深度資訊等於預設深度。

此外，若環境影像中水平區塊邊緣的第一邊緣長度小於參考成像寬度M1、垂直區塊邊緣的第二邊緣長度小於參考成像高度M2、且第一邊緣長度與第二邊緣長度之間的長寬比例相同於實際螢幕尺寸中的螢幕長寬比例，則處理器123可依據相似三角形原理而依據預設深度估算出顯示器121的深度資訊。若環境影像中水平區塊邊緣的第一邊緣長度小於參考成像寬度M1、垂直區塊邊緣的第二邊緣長度小於參考成像高度M2、但第一邊緣長度與第二邊緣長度之間的長寬比例不相同於實際螢幕尺寸中的螢幕長寬比例，則處理器123可依據第一邊緣長度與第二邊緣長度之間的長寬比例推算出顯示器121的螢幕傾斜度（例如是顯示器121的顯示平面與參考垂直平面之間的夾角），並更依據此螢幕傾斜度來準確估測出顯示器121之某一顯示邊框的深度資訊。由此可知，透過估算螢幕傾斜度，處理器123可更精準地估算出特定顯示邊框的深度資訊。

於此，由於本領域具有通常知識者應當可以在參照上述例舉的內容後，輕易地推演/類推出水平區塊邊緣的第一邊緣長度大於參考成像寬度M1或垂直區塊邊緣的第二邊緣長度大於參考成像高度M2的深度估算方式，故而在此並不再加以贅述之。

於步驟S590，處理器123依據位置資訊與深度資訊透過頭戴式顯示裝置110顯示至少一虛擬物件。由此可知，透過單一影像接取裝置111拍攝的環境影像，處理器123即可計算出虛擬物件於擴增實境系統中的顯示位置。詳細而言，於子步驟S591，處理器123依據邊緣位置、深度資訊與座標轉換關係獲取至少一虛擬物件於擴增實境座標系統中的顯示位置。具體而言，處理器123可依據環境影像中的邊緣位置、顯示器121的深度資訊決定虛擬物件於相機座標系統中的三維顯示位置。接著，處理器123可依據座標轉換關係將虛擬物件於相機座標系統中的三維顯示位置轉換為虛擬物件於擴增實境座標系統中的三維顯示位置。舉例而言，處理器123可依據公式(2)反推出虛擬物件於擴增實境座標系統中的三維顯示位置。

於步驟S592，依據至少一虛擬物件於擴增實境座標系統中的顯示位置，處理器123控制頭戴式顯示裝置110顯示錨定於顯示邊框的虛擬物件。透過利用已知的幾何向量投影演算法，處理器123可依據虛擬物件於擴增實境座標系統中的顯示位置產生提供給頭戴式顯示裝置110的顯示資料。基此，當頭戴式顯示裝置110依據處理器123提供的顯示資料進行顯示時，使用者可看到錨定於顯示器121之顯示邊框上的虛擬物件。虛擬物件不會反應使用者頭部的移動或轉動而與顯示器121的顯示邊框分離。

圖6是依照本發明一實施例的擴增實境系統的應用情境圖。請參照圖6，於此實施例中，二位使用者可分別配戴頭戴式顯示裝置110_a以及頭戴式顯示裝置110_b。頭戴式顯示裝置110_a以及頭戴式顯示裝置110_b可分別將各自的環境影像Img_Sa以及環境影像Img_Sb傳送至計算機裝置120。參照前述所有實施例說明的原理，計算機裝置120可依據環境影像Img_Sa決定虛擬物件V_T相對應於頭戴式顯示裝置110_a的顯示位置，並依據環境影像Img_Sb決定虛擬物件V_T相對應於頭戴式顯示裝置110_b的另一顯示位置。於是，基於虛擬物件V_T的兩組顯示位置，計算記裝置120可分別產生提供給頭戴式顯示裝置110_a的顯示資料D1以及提供給頭戴式顯示裝置110_b的顯示資料D2。對應的，頭戴式顯示裝置110_a以及頭戴式顯示裝置110_b可各自依據顯示資料D1與顯示資料D2提供擴增實境內容，致使兩位使用者可各自透過頭戴式顯示裝置110_a以及頭戴式顯示裝置110_b觀看到貼合於顯示邊框121的虛擬物件V_T。

綜上所述，於本發明實施例中，可根據環境影像中匹配於顯示器之顯示影像的參考影像區塊的尺寸資訊與位置資訊來決定虛擬物件的顯示位置，以將虛擬物件顯示為錨定於顯示器的顯示邊框上。藉此，當使用者配戴頭戴式顯示裝置觀看主顯示器時，即便主顯示器或頭戴式顯示裝置動態移動，但頭戴式顯示裝置所呈現的虛像物件與實際場景中主顯示器的顯示邊框可達到良好的對齊貼合。藉此，使用者可透過虛擬物件獲取更多的資訊量，並享優良舒適的觀看體驗。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:擴增實境系統 110、110_a、110_b:頭戴式顯示裝置 120:計算機裝置 111:影像擷取裝置 112:顯示器 121:顯示器 122:儲存裝置 123:處理器 E_L:左顯示邊框 E_T:上顯示邊框 E_R:右顯示邊框 V_T、V_R、V_L:虛擬物件 Img_S、Img_Sa、Img_Sb:環境影像 Img_D:顯示影像 B1:參考影像區塊 C1～C3:角點 BE_T:上區塊邊緣 BE_L:左區塊邊緣 D1、D2:顯示資料 S310～S350、S510～S592:步驟

圖1是依照本發明一實施例的擴增實境系統的示意圖。圖2是依照本發明一實施例的擴增實境系統的應用情境圖。圖3是依照本發明一實施例的錨定顯示方法的流程圖。圖4是依照本發明一實施例的對環境影像與顯示影像進行特徵匹配的示意圖。圖5是依照本發明一實施例的錨定顯示方法的流程圖。圖6是依照本發明一實施例的擴增實境系統的應用情境圖。

10:擴增實境系統

110:頭戴式顯示裝置

120:計算機裝置

111:影像擷取裝置

112:顯示器

121:顯示器

122:儲存裝置

123:處理器

Claims

一種擴增實境系統的錨定顯示方法，該擴增實境系統包括一頭戴式顯示裝置以及一計算機裝置，該錨定顯示方法包括：透過該頭戴式顯示裝置上的影像擷取裝置擷取一環境影像；藉由對該環境影像與該計算機裝置的一顯示器的顯示影像進行特徵匹配，偵測該環境影像中匹配於該顯示影像的一參考影像區塊；獲取該參考影像區塊於該環境影像中的位置資訊；依據該顯示器的實際螢幕尺寸與該環境影像中該參考影像區塊的區塊尺寸獲取該顯示器的深度資訊；依據該位置資訊與該深度資訊透過該頭戴式顯示裝置顯示至少一虛擬物件，其中該至少一虛擬物件顯示為錨定於該顯示器的至少一顯示邊框上；反應於未偵測到該環境影像中匹配於該顯示影像的該參考影像區塊，控制該頭戴式顯示裝置不顯示該至少一虛擬物件；以及自該顯示器的延伸顯示能力識別資料(Extended display identification data，EDID)提取該顯示器的該實際螢幕尺寸；其中該顯示器的該至少一顯示邊框對應於該參考影像區塊的至少一區塊邊緣，該位置資訊包括該至少一區塊邊緣於該環境影像中的邊緣位置，且該區塊尺寸包括該至少一區塊邊緣的長度；其中依據該顯示器的該實際螢幕尺寸與該環境影像中該參考影像區塊的該區塊尺寸獲取該顯示器的該深度資訊的步驟包括：藉由比對該實際螢幕尺寸所對應的參考成像長度與該至少一區塊邊緣的長度，而依據該參考成像長度所對應的預設深度估測該深度資訊。
如請求項1所述的錨定顯示方法，其中該至少一區塊邊緣包括上區塊邊緣、左區塊邊緣或右區塊邊緣，而該顯示器的該至少一顯示邊框包括上顯示邊框、左顯示邊框或右顯示邊框。
如請求項1所述的錨定顯示方法，其中依據該位置資訊與該深度資訊透過該頭戴式顯示裝置顯示該至少一虛擬物件的步驟包括：建立一擴增實境座標系統與一相機座標系統之間的一座標轉換關係；以及依據該邊緣位置、該深度資訊與該座標轉換關係獲取該至少一虛擬物件於該擴增實境座標系統中的顯示位置；其中，該影像擷取裝置固定設置於該頭戴式顯示裝置，該座標轉換關係事前建立於該計算機裝置的一儲存裝置或該頭戴式顯示裝置的一儲存裝置之中；其中，該計算機裝置可估測出該顯示器於該擴增實境座標系統下的該位置資訊與該深度資訊。
如請求項1所述的錨定顯示方法，其中該參考成像長度包括參考成像高度與參考成像寬度，該至少一區塊邊緣的長度包括水平區塊邊緣的第一邊緣長度與垂直區塊邊緣的第二邊緣長度，其中藉由比對該實際螢幕尺寸所對應的該參考成像長度與該至少一區塊邊緣的長度，而依據該參考成像長度所對應的該預設深度估測該深度資訊的步驟包括：比較該參考成像寬度與該第一邊緣長度，並比較該參考成像高度與該第二邊緣長度；以及依據比較結果與一預設深度資訊估測該深度資訊。
一種擴增實境系統，包括：一頭戴式顯示裝置，包括一影像擷取裝置，其中該影像擷取裝置擷取一環境影像；一計算機裝置，連接該頭戴式顯示裝置，並包括：一顯示器，顯示一顯示影像；一儲存裝置；以及一處理器，耦接該顯示器與該儲存裝置，經配置以：藉由對該環境影像與該顯示器的該顯示影像進行特徵匹配，偵測該環境影像中匹配於該顯示影像的一參考影像區塊；獲取該參考影像區塊於該環境影像中的位置資訊；依據該顯示器的實際螢幕尺寸與該環境影像中該參考影像區塊的區塊尺寸獲取該顯示器的深度資訊；依據該位置資訊與該深度資訊透過該頭戴式顯示裝置顯示至少一虛擬物件，其中該至少一虛擬物件顯示為錨定於該顯示器的至少一顯示邊框上，其中該顯示器的該至少一顯示邊框對應於該參考影像區塊的至少一區塊邊緣，該位置資訊包括該至少一區塊邊緣於該環境影像中的邊緣位置，且該區塊尺寸包括該至少一區塊邊緣的長度；反應於未偵測到該環境影像中匹配於該顯示影像的該參考影像區塊，控制該頭戴式顯示裝置不顯示該至少一虛擬物件；自該顯示器的延伸顯示能力識別資料提取該顯示器的該實際螢幕尺寸；以及藉由比對該實際螢幕尺寸所對應的參考成像長度與該至少一區塊邊緣的長度，而依據該參考成像長度所對應的預設深度估測該深度資訊。
如請求項5所述的擴增實境系統，其中該至少一區塊邊緣包括上區塊邊緣、左區塊邊緣或右區塊邊緣，而該顯示器的該至少一顯示邊框包括上顯示邊框、左顯示邊框或右顯示邊框。
如請求項5所述的擴增實境系統，其中該處理器更經配置以：建立一擴增實境座標系統與一相機座標系統之間的一座標轉換關係；以及依據該邊緣位置、該深度資訊與該座標轉換關係獲取該至少一虛擬物件於該擴增實境座標系統中的顯示位置；其中，該影像擷取裝置固定設置於該頭戴式顯示裝置，該座標轉換關係事前建立於該計算機裝置的一儲存裝置或該頭戴式顯示裝置的一儲存裝置之中；其中，該計算機裝置可估測出該顯示器於該擴增實境座標系統下的該位置資訊與該深度資訊。
如請求項5所述的擴增實境系統，其中該參考成像長度包括參考成像高度與參考成像寬度，該至少一區塊邊緣的長度包括水平區塊邊緣的第一邊緣長度與垂直區塊邊緣的第二邊緣長度，該處理器更經配置以：比較該參考成像寬度與該第一邊緣長度，並比較該參考成像高度與該第二邊緣長度；以及依據比較結果與一預設深度資訊估測該深度資訊。