TWI845192B

TWI845192B - 操作輔助系統

Info

Publication number: TWI845192B
Application number: TW112108159A
Authority: TW
Inventors: 覺文郁; 謝東興; 廖上愷; 黃永全; 王若珩
Original assignee: 國立臺灣大學
Priority date: 2023-03-06
Filing date: 2023-03-06
Publication date: 2024-06-11
Also published as: JP2024125978A; US20240303936A1

Abstract

一種操作輔助系統，可採集現場資料，並進行故障診斷分析，以提供一操作指引協助使用者操作一受測裝置。在該操作輔助系統中，使用者裝置可觀測該受測裝置，捕捉一現場視訊，並同時顯示一支援視訊。智能監測裝置耦接該受測裝置，用於監測該受測裝置的多種感應器狀態，以判斷一故障狀態。伺服器耦接至該使用者裝置和該智能監測裝置，可依據該故障狀態提供一支援視訊給該使用者裝置。其中，該使用者裝置還設置為可使一穿戴者感受到該支援視訊顯示在該受測裝置所在空間中的一特定相對位置。

Description

操作輔助系統

本申請是關於一種遠端支援系統，尤其是有關於利用虛擬實境技術進行遠端協助操作的系統。

現今工廠越來越注重設備保養與維護，設備故障時輕則翻閱紙本故障排除手冊進行維修，重則需要請工程師進廠維修，需要花費的時間與成本相對較高，尤其在後疫情時代工程師無法正常出差，造成工廠技術資源不足而降低問題解決的速度，也隨著企業慢慢注重減碳的議題，因此，如何實現遠端協助，線上幫助客戶排除疑難與故障，是有待解決的議題。在現有的許多已知方案中，為了實現遠端協助服務，需要整合多個不同領域的技術，包含物聯網(Internet of Things；IOT)、人工智慧(Artificial Intelligence；AI)、混合實境(Mixed Reality；MR)、擴增實境(Augmented Reality；AR)、與第五代（5 ^thGeneration；5G）行動通訊網路等，技術結合的困難度極高。因此，一個可降低多領域技術結合難度、有效實現遠端協助服務的系統，是有待開發的。

有鑑於此，本申請提出一種操作輔助系統，用於提供可操作一受測裝置的一操作指引。本申請結合物聯網IOT、人工智慧AI、混合實境MR、擴增實境AR、與第五代5G行動通訊網路等技術領域，並將解決方案拆成四個部份分別處理，包含採集現場資料、進行故障診斷分析，以AR數位指引進行初步排除、以MR遠端專家協作進行進階處理等。

本實施例的操作輔助系統主要至少包含一使用者裝置，一智能監測裝置，以及一伺服器。使用者裝置包含可穿戴式眼鏡，可觀測該受測裝置，捕捉一現場視訊，並同時顯示一支援視訊。智能監測裝置可耦接該受測裝置，用於監測該受測裝置的多種感應器狀態，以判斷一故障狀態。伺服器耦接至該使用者裝置和該智能監測裝置，可依據該故障狀態提供一支援視訊給該使用者裝置。其中，該使用者裝置還設置為可使一穿戴者感受到該支援視訊顯示在該受測裝置所在空間中的一特定相對位置。

在進一步的實施例中，操作輔助系統還包含一裝置控制器，耦接該伺服器，並可透過一特定通訊協定耦接該受測裝置，用於接收該受測裝置的狀態資訊而透過該使用者裝置顯示，或轉送該使用者裝置發出的一控制指令至該受測裝置；其中，該特定通訊協定包含開放平台通信統一架構（Open Platform Communications Unified Architecture, OPCUA）或訊息佇列遙測傳輸（Message Queuing Telemetry Transport, MQTT）協定。

在進一步的實施例中，該使用者裝置進一步設置為可傳送該現場視訊至該伺服器。該伺服器設置有影像辨識功能，可辨識該現場視訊中該受測裝置的影像，以判斷該受測裝置的型號或該故障狀態。

在進一步的實施例中，該使用者裝置顯示該支援視訊時，還可互動式地逐步播放、重播、倒轉、跳轉、開啟相關文檔、改變顯示位置或深度、放大縮小，或選擇不同支援視訊。

在進一步的實施例中，該智能監測裝置還設置為可監測該受測裝置的電流、振動、溫度、溼度、以及結構物理狀態。該智能監測裝置還設置為可依據該受測裝置的監測結果進行機器學習，以判斷該故障狀態。

在進一步的實施例中，操作輔助系統還包含物件資料庫，文件資料庫和流程資料庫。物件資料庫可儲存多種元件模型，包含該受測裝置的元件模型。文件資料庫可儲存特定格式的文字檔案，包含該受測裝置的操作說明。流程資料庫可儲存多個流程腳本，定義多個受測裝置在多個操作情境下所對應的操作流程，以及每個操作流程所涉及的元件模型及文件檔案。

在進一步的實施例中，該伺服器包含一處理模組，耦接該物件資料庫、該文件資料庫、以及該流程資料庫，可依據該故障狀態，執行該流程資料庫中的一流程腳本，參照該物件資料庫和該文件資料庫產生該支援視訊。

在進一步的實施例中，該操作輔助系統還包含一混合實境編輯系統，耦接至該物件資料庫、該文件資料庫、及該流程資料庫，包含物件繪製模組，文件編輯模組和流程設計模組。物件繪製模組包含可繪製一元件模型的人機介面。文件編輯模組包含可編輯一文字檔案的人機介面。流程設計模組包含可設計一流程腳本的人機介面。

在進一步的實施例中，該物件資料庫還包含該受測裝置的名稱、規格、生產序號、圖片、以及二維條碼。該物件繪製模組還可編輯該受測裝置的名稱、規格、生產序號、圖片、以及二維條碼。

在進一步的實施例中，該文件資料庫還包含該受測裝置的故障訊息、警報代碼、以及感測器狀態描述。文件編輯模組還可編輯該受測裝置的故障訊息、警報代碼、以及感測器狀態描述。

在進一步的實施例中，該流程資料庫中的該流程腳本包含連續多個步驟的操作指示、每一操作指示包含下列一或多項：指示文字、裝置立體圖、範例影片、範例圖片、以及文件檔案。流程設計模組還可編輯該流程腳本中的每一操作指示。

在進一步的實施例中，操作輔助系統還包含一支援者裝置，耦接該伺服器，用於在該使用者裝置發出要求時，透過該伺服器與該使用者裝置建立一視訊會議，以提供一引導資訊給該使用者裝置。操作輔助系統還包含一線上協作模組，耦接該物件繪製模組、該文件編輯模組、以及該流程設計模組，用於在該視訊會議中提供可即時產生該引導資訊的人機介面。

在進一步的實施例中，該伺服器可將該現場視訊及該引導資訊疊合成為一混合實境畫面，提供給多個加入該視訊會議的其他使用者裝置。

在進一步的實施例中，該支援者裝置透過該視訊會議獲取該使用者裝置所捕捉的該現場視訊。該支援者裝置利用該線上協作模組在一虛擬空間中標註該引導資訊。該引導資訊包含下列其中之一或多項：該物件資料庫中的元件模型、矩形、圓形、箭頭、自由畫筆、文字。

在進一步的實施例中，該使用者裝置還設置為可感測該現場視訊的一現場座標系統與深度資訊。該線上協作模組還設置為可在標註該引導資訊時客製化位置與深度資訊。該使用者裝置透過該視訊會議接收該引導資訊，並將該現場座標系統與該虛擬空間之座標疊合，使該穿戴者感受到該引導資訊顯示在該現場空間中的一特定相對位置。

在進一步的實施例中，該使用者裝置還設置為可辨識該現場視訊中的該受測裝置上的二維條碼，做為該現場座標系統的一參考點。

在進一步的實施例中，當該視訊會議結束時，該伺服器還設置為可將該視訊會議的過程以及該引導資訊轉換為新的流程腳本，儲存至流程資料庫中。該智能監測裝置可記錄該視訊會議中該受測裝置的各感測器數值以機器學習新的故障態樣。

下面將結合本申請實施例中的圖式，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。

圖1是本申請實施例的操作輔助系統100架構圖。本實施例的操作輔助系統100，便於一使用者（未圖示）在透過使用者裝置110操作受測裝置130時，可在不需要廠商客服人員現場指導的前提下，獲得操作指引。在本實施例中，受測裝置130實際上指涉的可以是任何需要人工操作或待檢測的硬體產品，一般在工廠中又可理解為各種機台、機具或儀器設備。通常受測裝置130內建有一些業界通用的傳輸界面，支援特定的傳輸協議，並且內建有一些基本的感測器元件，可提供基本的感測數據。具體數據類型不在此限定。本申請實施例可合理基於受測裝置130本身所能提供的數據，進行後續的相關分析處理。

本實施例中的使用者裝置110，基本上可以是一個具有擴增實境（Augmented Reality, AR）的可穿戴式眼鏡。使用者裝置110可具備一穿透式顯示器，在直接觀測受測裝置130的同時，也可顯示由伺服器200提供的支援視訊，產生類似抬頭顯示器（head-up display, HUD）的效果。藉此，使用者在操作受測裝置130的同時，還能方便地參考支援視訊的教學而獲得指導。使用者裝置110還可具備一或多個攝影鏡頭及麥克風，用於捕捉一現場視訊。可以理解的是，在本實施例中所指的現場視訊，除了包含影像訊號之外，還可以包含現場捕捉的聲音訊號。

本實施例中的使用者裝置110，又可稱為混合實境客戶端（Mixed Reality Client, MR Client）。藉由使用者裝置110，使用者可獲得至少下列功能，包含：標準流程數位指引、MR遠端協作、IOT資訊檢視、智能檢測與辨識。

標準流程數位指引的功能描述如下。伺服器200可透過智能監測裝置140、裝置控制器150或使用者裝置110的使用者輸入，獲知受測裝置130的故障狀況。當受測裝置130（機台）發出警報或者由智能監測裝置140傳出故障訊息時，伺服器200可將透過通訊軟體，例如LINE或是Telegram，傳出訊息通知使用者。此時位於現場的使用者，可透過使用者裝置110與伺服器200連線。伺服器200可查詢物件資料庫230、文件資料庫240和流程資料庫250而找出預存的對應故障排除教學流程，對使用者裝置110播放。藉此，使用者可再依據伺服器200提供給使用者裝置110的指引資訊，逐步照做而嘗試排除疑難。倘此方式無法解決問題，還可以進行專家模式，直接透過伺服器200呼叫一位遠端服務人員進行線上教學。在專家模式中，遠端服務人員可操作支援者裝置120，透過伺服器200與使用者裝置110連線，進行MR遠端協作而協助使用者。綜上所述，伺服器200協助使用者的方式，可以是無人模式，也可以是專家模式。

MR遠端協作的功能描述如下。使用者裝置110可透過伺服器200和支援者裝置120進行語音通話、遠端標註、與遠端協作功能。支援者裝置120通常是由位於遠端的裝置專家或客服人員操作，藉以手動提供支援服務。使用者裝置110可顯示支援者裝置120所提供的文字、圖片、影片、PDF等資料，甚至是遠端專家的電腦桌面資料。藉此，使用者裝置110的使用者可以有效地獲得解決問題所需的各種資訊。使用者裝置110還設置為可使穿戴者感受到該支援視訊顯示在該受測裝置所在空間中的一特定相對位置。換句話說，使用者裝置110實現了混合實境的技術，讓使用者在現實畫面中同時看到虛擬畫面疊合在適當的位置上。

IOT資訊檢視的功能描述如下。使用者裝置110可透過IOT通訊協定，檢視受測裝置130的資訊或控制受測裝置130。舉例來說，操作輔助系統100還可包含一裝置控制器150，耦接伺服器200以及受測裝置130，透過IOT通訊協定在其間傳輸資訊。裝置控制器150可以IOT通訊協定接收該受測裝置130的狀態資訊，經伺服器200轉換格式後透過該使用者裝置110顯示。裝置控制器150也可轉送使用者裝置110發出的一控制指令至受測裝置130。在本實施例中，該特定通訊協定可以是開放平台通信統一架構（Open Platform Communications Unified Architecture, OPCUA）或訊息佇列遙測傳輸（Message Queuing Telemetry Transport, MQTT）協定。換句話說，本申請的操作輔助系統100允許使用者裝置110透過伺服器200讀取受測裝置130的設備資訊，並且控制受測裝置130。

在圖1中，操作輔助系統100還包含一智能監測裝置140，可耦接受測裝置130，用於監測受測裝置130中的多種感測器狀態，以判斷一故障狀態。舉例來說，智能監測裝置140可監測受測裝置130的電流、振動、溫度、溼度、以及結構物理狀態，並依據受測裝置130的監測結果進行機器學習，以判斷該故障狀態。在本實施例中，智能監測裝置140可以是具備人工智慧或機器學習能力的節點裝置，以工業電腦搭配應用程式晶片打造而成，用於收集從受測裝置130上感測的各種數據。智能監測裝置140還可結合超參數自動調整功能，取代須花費大量時間的傳統建模方法。藉此，智能監測裝置140不僅可提升建模整體效率及工具機與相關零組件健康壽命預診系統精準度，還能降低產線中發生故障而造成整線停機的發生率。在進一步的應用方式中，智能監測裝置140還可設計為支持第五代行動通訊網路，直接與有關系統廠商連線而進行AI模組空中更新（Over the Air, OTA），克服終端用戶無法自行維運更新難題。

伺服器200是本申請實施例操作輔助系統100之運作核心，在運作時耦接至使用者裝置110和智能監測裝置140。伺服器200的基本功能描述如下。當智能監測裝置140回報故障狀態給伺服器200時，伺服器200可依據該故障狀態提供可對應解決問題的一支援視訊給使用者裝置110。為讓使用者便於學習，使用者裝置110顯示該支援視訊時，還可接受使用者裝置110回饋的播放指令，使支援視訊的播放方式具有可互動性。例如，伺服器200可支援逐步播放、重播、倒轉、跳轉、開啟相關文檔、改變顯示位置或深度、放大縮小，或選擇其他支援視訊等播放指令。操作輔助系統100通常可設計有手勢辨識功能、搖桿、觸控板、鍵盤、或滑鼠等人機介面，供上述互動操作。

圖2是本申請實施例的伺服器200架構示意圖。伺服器200本身可理解為一個硬體系統，或是執行特定作業系統和軟體的電腦。在實作上，伺服器200可包含一通訊模組220，支持至少TCP與UDP通訊協定，並且不限定為有線網路或無線網路。其中TCP通訊協定主要可用來處理伺服器200和使用者裝置110之間的連線交握、消息傳遞(撥通、掛斷、接收、標註等)、資料庫儲存。而UDP通訊協定可用於即時視訊、聲音傳遞等，並且包含設備資訊轉換平台，可將設備故障資訊透過使用者裝置110顯示。

使用者裝置110與伺服器200之間的連線可以是無線網路、有線網路或其他專屬介面。使用者裝置110可傳送攝影機捕捉的現場視訊至該伺服器200。而伺服器200透過通訊模組220接收該現場視訊後，由處理模組210進行分析處理。伺服器200中可實作影像辨識功能，由處理模組210參照物件資料庫230中的資料，辨識該現場視訊中的受測裝置130的影像，以判斷受測裝置130的型號或該故障狀態。舉例來說，使用者裝置110即時將圖片數據傳送給伺服器200後，處理模組210採用深度學習演算法（You Only Look Once, YOLO）進行模型分析，判斷出受測裝置130的型號或故障相關資訊後，將分析結果以文字或圖片方式，回傳給使用者裝置110顯示。本實施例所述的處理模組210，可以理解為處理器、計算機晶片、或應用程式特定晶片，搭配記憶體而執行軟體或韌體，驅動伺服器200而實現所有上述功能。

為完備伺服器200之功能，伺服器200中設置有物件資料庫230、文件資料庫240和流程資料庫250。各項資料庫的功能描述如下。

物件資料庫230可儲存多種元件模型。在本實施例中，元件模型可以是各種形狀的立體物件單體，例如圓球、立方體、角錐體、平面、曲面等。在實作上，市面上的各種不同型號的受測裝置130，都可拆解為多個立體物件單體的組合。透過這些立體物件單體的組合，可為使用者產生易於理解實體受測裝置130運作原理的參考畫面。物件資料庫230中的元件模式，若是原廠資料齊全，也可以包含受測裝置130的仿真模型。在更進一步的實施例中，伺服器200中的處理模組210應可透過使用者裝置110提供的現場視訊影像，建立受測裝置130的仿真模型，並儲存在物件資料庫230中。

文件資料庫240可儲存特定格式的文字檔案，包含該受測裝置130的操作說明。文件資料庫240可用來收集各種已知的教學文件、步驟說明，做為提供支援視訊時的內容素材。文字檔案的格式，不限定是已知的doc、pdf或txt。

流程資料庫250可儲存多個流程腳本，定義多個受測裝置在多個操作情境下所對應的操作流程，以及每個操作流程所涉及的元件模型及文件檔案。在實作中，流程腳本主要用於描述解決一個特定的故障情境時所需要的多個步驟。每個步驟通常會包含文字、圖片、立體物件模式、聲音、甚至影片。因此流程腳本可採用類似超文件格式（HTTP）、多功能標記語言（XML）或其他常見描述方式，將物件資料庫230和文件資料庫240中的各種物件文檔以外部鏈結方式彙整為一份腳本文件，供處理模組210執行時產生可互動式的支援視訊，使使用者裝置110對應地顯示給使用者看。

綜上所述，伺服器200中的處理模組210耦接物件資料庫230，文件資料庫240，以及流程資料庫250。當伺服器200依據故障狀態執行流程資料庫250中的一流程腳本時，可參照該物件資料庫230和該文件資料庫240產生該支援視訊。補充說明的是，在本實施例中的流程腳本可視為一系列指令的組合，定義了多個步驟，以及每個步驟欲顯示的畫面、內容、或聲音。而支援視訊是該系列指令被執行後的結果。搭配MR技術，本申請的支援視訊可以呈現出立體物件的運動、拆解、及元件細節，是使用者學習操作方式的便利輔助工具。

圖3是本申請實施例的混合實境編輯系統300架構示意圖。混合實境編輯系統300在實作上的定位，可以是一個獨立的硬體，也可以是執行一特定軟體的電腦。混合實境編輯系統300可以是獨立於伺服器200的一個裝置，也可以是整合在伺服器200中的一個模組。混合實境編輯系統300的主要目的，是提供伺服器200運作所需的各種物件、文件、流程，並提供一個可即時操作的人機介面，供使用者裝置110端的使用者和支援者裝置120端的服務人員進行線上虛擬實境互動。

換句話說，混合實境編輯系統300，可以理解為一種可編輯混合虛擬實境世界所涉及的事物的人機介面，運作時須搭配物件資料庫230，文件資料庫240，及流程資料庫250以獲得完整功能。混合實境編輯系統300依照編輯功能需求，可大略區分為幾個模組，例如物件繪製模組302、文件編輯模組304和流程設計模組306。物件繪製模組302包含可繪製一元件模型的人機介面。文件編輯模組304包含可編輯一文字檔案的人機介面。流程設計模組306包含可設計一流程腳本的人機介面。

前述的物件資料庫230除了用來儲存各種基本元件模型，還進一步可儲存與受測裝置130有關資訊，例如名稱、規格、生產序號、圖片、以及二維條碼。這些資訊可以是由物件繪製模組302所建立。也就是說，物件繪製模組302可用來編輯受測裝置130的名稱、規格、生產序號、圖片、以及二維條碼。

在本實施例中，物件繪製模組302不止是可繪製2D模型，也可繪製3D模型。2D為基本繪圖，例如常見的矩形、圓形、及箭頭基本圖形等。3D模型可以是fbx、obj檔案格式。在使用者或專家利用物件繪製模組302繪製出各種元件模型後，可透過伺服器200儲存至物件資料庫230中。

圖2所示的文件資料庫240，除了收集各種教學文件，還可用於收集與受測裝置130有關的應用代碼，例如故障訊息、警報代碼、以及感測器狀態描述。文件資料庫240所收集的這些訊息，也可由圖3中的文件編輯模組304進行管理，包含製作、修改、與刪除。在使用者或專家利用文件編輯模組304編輯受測裝置130的故障訊息、警報代碼、以及感測器狀態描述後，透過伺服器200儲存至文件資料庫240。這些資料可在後續與受測裝置130相關的操作中，被讀取而利用。舉例來說，專家可利用支援者裝置120連至伺服器200，操作文件編輯模組304自由編輯機台故障維修排除資訊、設備感測器與控制器資訊，並將每一步驟故障拆解後輸入其文字、圖片、影片、PLC點位等等，再將其儲存至文件資料庫240。

圖2所示的流程資料庫250中的流程腳本包含連續多個步驟的操作指示、每一操作指示包含下列一或多項：指示文字、裝置立體圖、範例影片、範例圖片、以及文件檔案。這些訊息可由圖3中的流程設計模組306搭配物件繪製模組302和文件編輯模組304以超連結方式編輯產生。舉例來說，受測裝置130的專家或客服人員，可事先利用混合實境編輯系統300編輯標準操作流程（Standard Operation Procedure, SOP）、機台故障維修排除資訊、以及設備感測器與控制器資訊。編輯完成所獲得的成果，再對應地儲存至伺服器200中的物件資料庫230、文件資料庫240和流程資料庫250中。當一位受測裝置130的專家操作支援者裝置120時，也可以搭配MR可穿戴式裝置進行。而受測裝置130的專家在利用支援者裝置120與伺服器200連線後，即可線上存取混合實境編輯系統300。受測裝置130的專家在透過支援者裝置120服務使用者裝置110的使用者時，可使用MR眼鏡的攝影機和麥克風，與使用者進行影音視訊。支援者裝置120中可包含視訊會議相關API，用於將語音與視訊內容進行序列化或反序列化，再透過伺服器200傳送至使用者裝置110。線上視訊會議或影音視訊之技術細節可參考已知技術。然而本發明的線上視訊會議還結合了混合實境功能。

為了實現混合實境功能，混合實境編輯系統300還提供一個線上協作模組308，做為即時互動的人機介面。在實作中，本實施例的線上協作模組308為了即時提供各種可供繪製畫面的素材，可呼叫物件繪製模組302、文件編輯模組304、以及流程設計模組306以協同執行功能。可以理解的是，若混合實境編輯系統300能線上連接至物件資料庫230、文件資料庫240和流程資料庫250，將可提供更完善的編輯功能。綜上所述，在視訊會議過程中，線上協作模組308了提供一種可即時產生該引導資訊的人機介面。關於人機介面的外觀設計與布局，考慮到使用者習慣，可參照廣為人知的各種美術編輯軟體的設計而進行客製化，以減少操作界面的學習障礙。

受測裝置130的專家在操作支援者裝置120與使用者裝置110互動時，可透過MR眼鏡操作線上協作模組308，對使用者所捕捉的現場畫面即時進行遠端標註。當使用者利用使用者裝置110諮詢支援者裝置120端的專家時，可在使用者裝置110的顯示介面上看到專家從遠端所標註的資訊。而且，透過本申請所導入的混合實境技術，專家所繪製的內容可與使用者裝置110的現場實物重疊為一種混合虛擬實境，供使用者便於理解教學內容。

以下舉一個實施例說明遠端標註的過程。首先，使用者裝置110的使用者透過伺服器200呼叫線上客服或遠端專家，要求建立線上會議提供受測裝置130的操作引導。支援者裝置120可透過網路耦接伺服器200。使用者裝置110發出視訊會議要求時，伺服器200將使用者裝置110和支援者裝置120進行媒合串接而建立一視訊會議，其中支援者裝置120是遠端專家使用的裝置。透過視訊會議，遠端專家得以利用支援者裝置120提供一引導資訊給使用者裝置110。

支援者裝置120透該視訊會議獲取該使用者裝置110捕捉的該現場視訊，接著遠端專家可利用線上協作模組308在一虛擬空間中標註該引導資訊。該引導資訊可以包含物件資料庫230中的元件模型，也可以是各種預設的基本模板，例如矩形、圓形、箭頭、自由畫筆、和文字等。在專家使用支援者裝置120時，可透過混合實境編輯系統300從物件資料庫230中找出欲加入的物件，以拖拉的方式指定欲在使用者裝置110中顯示的位置。在另一實施例中，遠端專家可藉由線上協作模組308，將一立體元件模型放在虛擬空間中的指定位置上、經過調整縮放比例、以及調整旋轉角度後，產生欲呈現給使用者的引導資訊而上傳至伺服器200。因此，上傳至伺服器200的資訊，除了立體元件模型本身外，也包含其位置座標、旋轉角度、以及縮放比例。

由於線上專家不在使用者裝置110的現場，支援者裝置120所顯示的畫面，是將該虛擬空間與現場視訊疊合的一種混合實境畫面，以便於遠端專家準確地在現場視訊上標注引導資訊。為了實現混合實境的應用，首先，使用者裝置110所捕捉的視訊畫面，透過API傳送給伺服器200。使用者裝置110的攝影機，可設計為立體攝影機，所感測的現場視訊可包含一現場座標系統與深度資訊。藉此，當支援者裝置120顯示現場視訊時，也可以呈現出立體的影像。當遠端專家使用線上協作模組308標註該引導資訊時，也可以理解成是在對應該現場座標系統的一虛擬空間中繪畫，所繪物件的位置與深度都可自由調整。舉例來說，在遠端專家使用混合實境編輯系統300實作遠端標註功能時，伺服器200可依據將使用者裝置110的相機矩陣的位置數據，搭配射線RAY演算法，為專家所標註的畫面內容賦予深度資料，以達到三維立體標註效果。最後，使用支援者裝置120的遠端專家或客服人員，透過混合實境編輯系統300所輸入的引導資訊，可在使用者裝置110的畫面上顯示。舉例來說，參與該視訊會議的使用者裝置110，透過伺服器200從支援者裝置120接收該引導資訊，並將該現場座標系統與該虛擬空間之座標疊合，使該穿戴者感受到該引導資訊顯示在該現場空間中的一特定相對位置。

在進一步的實施例中，視訊會議也可容許多人同時連線，共同進行語音通話、遠端標註與遠端協作功能，並同時在眼鏡裡面看到專家所傳的文字、圖片、影片、PDF等資料。

在進一步的實施例中，伺服器200可進一步結合生成對抗網路（Generative Adversarial Network, GAN），將遠端專家透過支援者裝置120輸入的指導經驗訓練為AI機器人。AI機器人經過適當的訓練後，在基本的情境下，可以取代遠端專家，在線上與使用者進行對話、互動、繪示引導資訊，協助排除受測裝置130的疑難障礙。相對地，使用者在與AI機器人對話時，也可以回饋操作意見，協助AI機器人累積更多經驗，使伺服器200的服務能力日漸強大。

為了將使用者所在的現場空間與遠端專家所工作的虛擬空間無縫融合為混合實境，本發明提出一種定位點的概念。每個受測裝置130上的特定位置上，可標示一或多個特定的符號，例如二維條碼。使用者裝置110的攝影機捕捉現場視訊後，若辨識到受測裝置130上的二維條碼，就能獲知受測裝置130的型號，並為現場空間建立一座標系統。使用者裝置110可依據受測裝置130上的二維條碼位置而決定該座標系統的相對參考點或原點。在進行混合實境的畫面疊合時，使用者裝置110可依據現場空間的座標系統而決定與虛擬空間的疊合方式。

圖4是本申請實施例之一的遠端支援方法流程圖。圖1的操作輔助系統100可運行於專家模式，由支援者裝置120透過伺服器200為使用者裝置110提供線上支援服務。

首先，在流程402中，由使用者裝置110對伺服器200發出一遠端支援要求。該遠端支援要求也可以包含受測裝置130相關資訊，例如型號、故障情形、以及各種感測器數據。

在流程404中，伺服器200接收到該遠端支援要求後，對支援者裝置120發出建立連線的要求。伺服器200在平時可與多個支援者裝置120保持連線狀態，即，有多個遠端專家在線上待命。當伺服器200接收到該遠端支援要求時，還可依據其中的附加資訊，媒合線上符合條件的支援者裝置120其中之一，以建立遠端支援連線。

在流程406中，支援者裝置120接收到伺服器200發出的連線要求，即加入視訊會議，由支援者裝置120的操作者與使用者裝置110的使用者進行互動。

在流程408中，使用者裝置110的攝影機和麥克風捕捉使用者端的現場畫面。使用者裝置110可以是穿戴式MR裝置，所捕捉的現場畫面可以包含使用者所在現場的一受測裝置130。若使用者裝置110的攝影機具有立體偵測功能，例如光達，所產生的現場畫面可以是一種具有深度資訊的全景畫面。

在流程410中，使用者裝置110將所捕捉的現場畫面傳送給伺服器200。使用者裝置110傳送給伺服器200的資訊，還可以包含語音，或是與受測裝置130有關的額外訊息，例如受測裝置130上的二維條碼。

在流程412中，伺服器200接收由使用者裝置110傳送而來的現場畫面。伺服器200也可對現場畫面進行初步的辨識，以判斷受測裝置130的規格型號或故障情形。

在流程414中，伺服器200傳送使用者裝置110的現場畫面給支援者裝置120。伺服器200也可傳送對現場畫面辨識的結果給支援者裝置120，或使用者裝置110提供給伺服器200的任何額外資訊，以便於支援者裝置120的操作者了解使用者裝置110端的實際情況。

在流程416中，支援者裝置120接收伺服器200傳來的現場畫面，並顯示在支援者裝置120端的顯示器上。支援者裝置120也可以是一種MR穿戴式裝置或VR穿戴式裝置，使支援者裝置120端的操作者感知到使用者裝置110端的現場全景畫面。

在流程418中，支援者裝置120的操作者依據所看到的現場畫面，利用圖3的混合實境編輯系統300進行遠端標註。遠端標註所產生的資訊，就是一種可幫助使用者裝置110端的使用者解決問題的引導資訊。可以理解的是，在遠端專家透過這個視訊會議提供的內容，也可以包含語音對話，或是線上傳送的一些其他的文件檔案。

在流程420中，伺服器200接收支援者裝置120提供的引導資訊，並轉送給使用者裝置110。

在流程422中，使用者裝置110接收伺服器200轉送而來的引導資訊。如圖3的實施例所述，引導資訊的內容可以是在一虛擬空間中所繪示的元件模型、圖案、文字、以及聲音。

在流程424中，使用者裝置110將引導資訊混合顯示在現場現場畫面之上，形成混合實境效果。

在流程426中，在視訊會議過程中，伺服器200還可將引導資訊轉換為新的流程腳本，儲存至流程資料庫250中。當日後伺服器200遇到有類似故障情形時，可以直接從流程資料庫250中調用現成的流程腳本，提供給使用者學習，以節省支援者裝置120端的人工成本。

圖5是本申請另一實施例的遠端支援方法流程圖。當使用者操作受測裝置130時遇到困難，也可選擇不找遠端專家進行線上教學，而是直接要求伺服器200提供既有的線上流程教學。當伺服器200累積足夠的知識量之後，智能線上流程教學未來會逐漸取代人工流程教學。圖5的流程說明如下。

在流程402的同時，智能監測裝置140執行流程502，監測受測裝置130並上傳監測資訊至伺服器200。受測裝置130本身通常內建一些感測器和支援IOT協議的傳輸界面，可回報各種感測狀態和執行代碼給智能監測裝置140。智能監測裝置140也可進一步包含更多類型的感測裝置，用於收集更詳細的受測裝置130運作資訊。這些監測資訊可提供給伺服器200做為故障情形的判斷依據。此外，智能監測裝置140本身也可包含智能學習能力，主動依據監測資訊判斷受測裝置130的故障情形後，回報給伺服器200。

在流程504中，伺服器200接收到使用者裝置110的遠端支援要求後，依據智能監測裝置140提供的監測資訊查找流程資料庫250中之對應流程腳本。

流程408至412與圖4的實施例類似，在此不再贅述。

流程514接續於流程412之後運行，伺服器200依據流程資料庫250中找到的流程腳本，產生引導資訊。在實作中，流程腳本可以是由標記語言寫成，用於描述多個步驟所應顯示的文字、圖形、聲音，並可參照物件資料庫230、文件資料庫240、流程資料庫250中所儲存的各種素材資料源。而引導資訊可以是伺服器200中的處理模組210依據流程腳本所合成的影音視頻，包含流程腳本中所引用的各種文字、圖形、聲音。引導資訊甚至可以是具備三維立體深度資訊，在使用者裝置110中以全景影像方式呈現。

在流程516中，伺服器200將引導資訊傳送至使用者裝置110。

在流程422至424與圖4的實施例類似，在此不再贅述。

在一衍生的實施例中，使用者裝置110播放引導資訊的功能可接受使用者互動。即，使用者可在播放過程中輸入命令，使引導資訊逐步播放、暫停、或重播。更進一步地說，使用者也可在播放過程中回饋資訊，使伺服器200學習受測裝置130的修復經驗。此外，智能監測裝置140在使用者操作受測裝置130的過程中，也持續監測著受測裝置130的各種感測數值變化，配合修復情形，做為持續擴充機器學習能力的素材。

圖6是本申請另一實施例的操作輔助系統600架構示意圖。其架構主軸以使用者裝置110、伺服器200和支援者裝置120構成。圖1的操作輔助系統100屬於一種分散架式。而在本實施例的操作輔助系統600中，混合實境編輯系統300可整合成為伺服器200的一部份，以線上應用服務的方式提供給支援者裝置120使用。圖1中所示的智能監測裝置140，也可以整合為伺服器200的一部份，透過IOT通訊協定與受測裝置130相連。

在另一衍生的實施例中，圖1中的裝置控制器150可以實作為智能監測裝置140的一部份。智能監測裝置140可對受測裝置130進行雙向通訊，一方面接收感測器資訊，一方面輸送控制命令。

在另一衍生的實施例中，智能監測裝置140可整合在受測裝置130中，透過IOT通訊協定或5G行動網路通訊協定與伺服器200溝通。

除此之外，在操作輔助系統600的架構中，伺服器200可以同時連至多個使用者裝置110，或是多個支援者裝置120。伺服器200可同時對多個使用者裝置110進行同一個線上指導。一或多個支援者裝置120的操作者，也可以同時對一或多個使用者裝置110進行線上指導。未操作受測裝置130的使用者，也可透過使用者裝置110參與線上會議，觀看其他人的混合實境畫面，從中學習。換句話說，伺服器200進一步可將受測裝置130的現場視訊及該引導資訊疊合成為一混合實境畫面，提供給多個加入該視訊會議的其他使用者裝置。

在操作輔助系統600的實作中，伺服器200本身具備基本的流程教學功能。當使用者裝置110的使用者遇到問題時，可先要求伺服器200在不使用支援者裝置120的前提下提供教學流程。當伺服器200提供的資訊不足以解決問題時，使用者裝置110的使用者再透過伺服器200呼叫遠端的專家使用支援者裝置120上線來協助解決問題。

綜上所述，本申請所提的操作輔助系統100，包含下列創新構想。操作輔助系統100中整合了智能監測裝置140，可對受測裝置130進行故障診斷、閥值設定，並發出異警通知。智能監測裝置140的設置，也使故障診斷資訊得以即時傳輸。本實施例所設計的架構，具有可擴充彈性，可快速整合至第三方系統。圖3的實施例，提出一種便利的人機介面，讓操作者可在10分鐘內快速編輯一個AR流程。使用者裝置110、伺服器200和受測裝置130之間，以標準通訊協定MQTT和OPCUA進行溝通，減少實作成本，增加未來擴充系統的相容性。

另外，由於本申請的操作輔助系統100涉及多種不同領域的技術，例如IOT、TCP、VR等，因此伺服器200可扮演相關設備標準通訊協定轉換平台的角色，使資訊串接順暢。透過使用者裝置110和140提供的資訊，本實施例的伺服器200可智能地從資料庫中篩選受測裝置130相對應故障SOP處理流程。伺服器200還可進一步整合至現今的各類知名雲端平台，以最低的成本將數據存取的效能最大化。本申請的伺服器200還整合了可設計SOP流程和IOT資訊的混合實境編輯系統300，使功能彈性可隨著受測裝置130的種類而無限延伸。

本申請的操作輔助系統100，將視訊通話功能和遠端標註功能整合在混合實境技術中，亦屬前所未有的創舉。在進一步衍生的實施例中，操作輔助系統100中的每一元件可串接至5G行動通訊網路，將可應用的場合擴充至戶外、工地、都市或鄉村各角落，而不再限於辦公室或實驗室中。

本申請的操作輔助系統100，預期能產生下列效益。操作輔助系統100所提供的服務，可有效降低因故障造成生產工件成本損耗及定期巡檢的人力耗費。智能監測裝置140的設置，可降低紙本流程，減少大量抄表，並自動記錄感測資訊至雲端或地端。智能監測裝置140可將零組件的管理智慧化，並根據資訊判斷故障原因。伺服器200搭配支援者裝置120，可減少出差成本、避免移動。由於伺服器200中創建了各種資料庫，也可方便使用者快速查閱受測裝置130的相關資訊，例如生產履歷。由於本發明的操作輔助系統100整合了混合實境技術，因此維護受測裝置130的技術門檻顯著降低，可有效加速維修效率，提升維運安全係數，降低產品服務中斷率。在使用操作輔助系統100進行故障排除的過程中，伺服器200可採用AI技術判讀即時影像或拍攝照片，並快速辨識複雜資料。

本發明可應用的產業範圍也相當廣。舉例來說，製造業是一種屬於需要駐點（on-site）的產業。倘若工廠技術支援人力不足，會降低問題解決的速度。近年來政府不斷倡導環保責任治理（ESG），使得工廠的維運門檻更加提高。本發明結合IOT、AI、MR/AR與5G行動通訊網路所提出的操作輔助系統100，可以協助廠商更快達成各項長、短期目標。結合穿戴式設備的解決方案能大幅提昇廠商效率、降低出差成本並增加培訓人才的速度，並更進一步降低售服與人才訓練可能產生的碳足跡。導入IOT和AI技術的智能監測裝置140也可幫助降低能源消耗。廠商可以透過監控瞭解當前效能，並制定方針改善能源密集工作。本發明預期能藉由操作輔助系統100的架構，幫助廠商跟上ESG的潮流、提升產業效率、並減少成本支出。

本發明的操作輔助系統100也可定位在數位精準售後服務應用。舉例來說，某個原廠工具機產業的售後服務成本高達總成本的20%以上。若是採用本發明的操作輔助系統100，採購售後服務的成本可大幅降低至總成本的10%以下。

本發明的操作輔助系統100也可應用在風電相關產業中，例如海洋風電設施的遠端巡檢作業。透過影像辨識和語音輸入的功能，巡檢人員所需花費的時間從原先的2小時降至1小時左右，巡檢維護效率有顯著提升。

本申請中的智能監測裝置140，可以與電信商合作，將所蒐集的資料與診斷結果上傳至電信商的雲端平台。該雲端平台可再將所有資訊分別派送至操作輔助系統100中的每一使用者裝置110。換句話說，伺服器200可以布署於雲端平台，提供Restful API給操作輔助系統100中的其他元件進行遠端串接。最後，操作輔助系統100的銷售，也可以直接採用該電信商提供的銷售通路，向各種產業行銷推廣。

需要說明的是，在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括爲這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。

上面結合圖式對本申請的實施例進行了描述，但是本申請並不局限于上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本申請的啓示下，在不脫離本申請宗旨和權利要求所保護的範圍情況下，還可做出很多形式，均屬本申請的保護之內。

100:操作輔助系統

110:使用者裝置

120:支援者裝置

130:受測裝置

140:智能監測裝置

150:裝置控制器

200:伺服器

210:處理模組

220:通訊模組

230:物件資料庫

240:文件資料庫

250:流程資料庫

300:混合實境編輯系統

302:物件繪製模組

304:文件編輯模組

306:流程設計模組

308:線上協作模組

402-426:流程

504-516:流程

600:操作輔助系統

所附圖式是用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用於解釋本申請，並不構成對本申請的不當限定。在圖式中：圖1是本申請實施例的操作輔助系統架構圖；圖2是本申請實施例的伺服器架構示意圖；圖3是本申請實施例的混合實境編輯系統架構示意圖；圖4是本申請實施例之一的遠端支援方法流程圖；圖5是本申請另一實施例的遠端支援方法流程圖；以及圖6是本申請另一實施例的操作輔助系統架構示意圖。