Google 公開了多項資料雲端創新技術！確保資料能夠即時傳遞

annan5168

現今資料的影響力不再僅限於分析師，包括企業員工、客戶和合作夥伴都有資料需求。在今年的 Data Cloud Summit 期間，Google 公開了多項資料雲端的創新技術，包含 BigLake 和 Spanner 變更串流，這些技術可以進一步整合客戶資料，同時確保資料能夠即時傳遞。另外，Vertex AI Workbench 和 Model Registry 則能讓大家輕鬆將資料轉化為 AI 方面的價值。另外還有全新的 Workspace 整合方案，以及進一步支援 Google 資料雲端合作夥伴生態系的新計畫。

首先在 BigLake方面，顧名思義就是「資料湖泊」，它是個儲存引擎，可以整合不同的資料湖泊與倉儲，進而打破其中的界線。如果分開管理不同的資料倉儲與湖泊，會造成資料孤島的情形發生，並導致額外的風險和費用，這樣的問題在需要遷移資料時會特別明顯。有了 BigLake，企業就能整合資料倉儲和資料湖泊，並進行分析，且不必擔心基礎的儲存空間格式或系統，這樣就不需要複製或遷移來源中的資料，進而降低成本並提高效率。

在 BigLake 的協助下，客戶可以採用更細緻的存取權控管機制，並透過 API 介面使用 Google Cloud 和 Parquet 等開放原始碼檔案格式，進而運用 Apache Spark 等開放原始碼處理引擎。這些功能將 BigQuery 十年的革新成果拓展至 Google Cloud Storage 中的資料湖泊，實現了具備彈性並符合成本效益的開放式資料湖倉架構。

Twitter 已開始採用 BigQuery 的儲存空間功能來打破資料限制，以便進一步掌握其用戶使用 Twitter 平台的方式，以及會感到興趣的內容類型。因此，Twitter 能透過每秒可執行超過 300 萬次聚合作業的廣告管道，每天為數兆個事件提供內容。

另外一個是 Spanner 變更串流，它可以追蹤 Spanner 的植入、更新和刪除作業，並在整個 Spanner 資料庫中即時串流異動內容。這樣一來，客戶就能隨時存取最新資料，同時輕鬆將 Spanner 中的變更複製到 BigQuery 來進行即時分析、透過 Pub/Sub 觸發下游應用程式行動，或是將變更儲存至 Google Cloud Storage (GCS) 來遵守法規要求。Spanner 目前每秒最多可處理超過 20 億項要求，同時維持 99.999% 的可用性。而在增加變更串流之後，Spanner 現在可以讓客戶在處理資料時享有無限可能。

Vertex AI 代管平台提供建立、部署及擴充模型所需的各項機器學習工具，並經過最佳化的處理，可以順暢處理 BigQuery 等服務中的資料工作負載，讓客戶在更短時間內將 AI 模型部署至實際工作環境，並進一步簡化維護作業。

Vertex AI Workbench 現已正式推出，能夠將資料和機器學習系統整合至單一介面，這樣一來無論是執行資料分析、數據科學或機器學習等工作，團隊都能使用相同的工具組來完成。Vertex AI Workbench 與 BigQuery、無伺服器 Spark 和 Dataproc 整合後，可讓團隊快速建立、訓練及部署機器學習模型，速度是傳統筆記型電腦的 5 倍。事實上，一間跨國零售公司採用了 Vertex AI Workbench 之後，銷售額增加了數百萬美元，產品上市速度也加快了 15%。

藉由 Vertex AI 你就可以定期更新模型，而為了讓大家能更輕鬆地管理模型的維護作業，全新的機器學習運作功能 Vertex AI Model Registry。目前 Vertex AI Model Registry 為 Beta 版，提供中央存放區，可供探索、使用及管理機器學習模型，BigQuery ML 中的模型也包含在內。

Google 還宣布推出 Looker 連結試算表，以及在 Data Studio 中存取 Looker 資料模型的功能。無論是透過 Looker 探索 (Looker Explore)、Google 試算表或是數據分析 (Data Studio) 的拖曳式介面，大家現在都能按照自己選取的方式與資料行互動。這樣一來，所有人都能運用這個經過整合的全新 Google Cloud 商業智慧 (BI) 平台，更輕鬆地存取資料、並從中擷取出深入分析的結果，藉此推動革新，並依據資料來制定決策。有了這項整合式商業智慧服務，使用者就能輕鬆取得受管理且值得信賴的企業資料、採用新的資料集和計算功能，並與同事協同合作。

Mercado Libre 是拉丁美洲最大的線上商務與支付服務系統，同時也是 Looker 連結試算表的初期採用者。借助這項整合服務，他們已能透過原先慣用的試算表介面將資料存取權分享給更多員工。藉由降低入門門檻，他們已經營造出資料導向文化，所有人都能依據資料制定決策。