使用 SQL 在 BigQuery 中開發及執行可擴充的資料轉換管道。
在 BigQuery 中開發經過彙整、符合現況且值得信賴的詳盡記錄資料表
讓資料分析師和資料工程師在相同的存放區中協同合作
使用 SQL 在 BigQuery 中建構可擴充的資料管道
與 GitHub 和 GitLab 相互整合
定期更新資料表,而不必費心管理基礎架構
優點
不需要任何依附元件,即可透過單一環境使用 SQL 在 BigQuery 中開發及操作可擴充的資料管道。
有了 Dataform,資料團隊就能按照版本控制、環境、測試和說明文件等軟體工程的最佳做法,輕鬆管理 SQL 程式碼與資料資產定義。
Dataform 能降低建構 SQL 管道的複雜度,方便資料分析師使用 SQL 管理依附關係、設定資料品質測試,以及自動化調度管理複雜的管道。
主要功能與特色
透過 Dataform Core,資料工程師和資料分析師只須使用 SQL,就能在單一存放區集中建立資料表定義、設定依附關係、新增資料欄說明,以及設定資料品質斷言。
使用者能夠逐步採用並加入 Dataform Core 函式,無須修改現有的程式碼。
Dataform Core 是一項能在本機中使用的開放原始碼工具,讓使用者不必受限於單一架構,且可靈活地運用這項工具來滿足更進階的使用需求。
Dataform 會處理作業基礎架構,以便根據資料表間的依附關係更新資料表內容,同時也會採用最新版本的程式碼。您可以使用 Dataform 整合功能順暢追蹤與歷程和資料相關的資訊,只要手動觸發 SQL 工作流程,或是透過 Cloud Composer、Workflows 或第三方服務排定執行時間即可。
您不用離開網路瀏覽器,即可直接透過單一介面,在短短幾分鐘內定義資料表、根據即時錯誤訊息修正問題、以圖表呈現依附關係、將修訂變更發布至 Git,以及進行管道排程。此外,您還可以將存放區與 GitHub 和 GitLab 等第三方供應商相連結,也能在修訂變更後透過 IDE 進行推送或開啟提取要求。
說明文件