當前，大數據正在從計算規模化向實時化演進，實時數倉的應用場景也越來越廣泛。例如：央視春晚，可通過大屏實時統計全國的收視率和觀眾畫像；多個城市正在開展的城市大腦項目， 通過 IoT 的攝像頭信息，實時捕獲各個城市中的交通、車輛、人流等信息進行交通監察與治理；銀行、證券交易所等金融機構實時監控交易行為，進行反作弊反洗錢等行為的探測；電商大促場景下，可通過大屏實時展示成交額並實現毫秒級更新。除此之外，智能客服、物流跟蹤、訂單分析、直播質量監控等也是實時數倉的典型應用場景。由此可見，實時數據的處理與分析為越來越多的企業創造了業務價值。

 

     實時數倉越來越重要。然而建設實時數倉時，企業卻常常麵臨各種問題。當前實時數倉建設的痛點主要有以下三方麵：首先，企業對於數據的準確性、時效性、性價比三方麵都同時具有強烈需求。不但對數據實時寫入能力要求高、查詢延時敏感、查詢維度繁多且維度不固定，而且希望兼顧明細查詢和聚合查詢兩類不同負載，同時要求在成本上有所控製。其次，隨著手機應用、小程序等場景日益增多，企業對於半結構化數據的分析需求強烈。第三，由於業務需求更新頻繁，實時任務變更頻繁，企業需要更加敏捷的實時數倉來適應頻繁的變更。

 

     為了解決客戶建設實時數倉中麵臨的痛點，阿裏雲實時計算Flink版+Hologres實時數倉解決方案升級。

 

     本次升級發布的新功能集中在數據寫入、查詢與分析、企業級能力三個方麵。

 

      數據寫入：擁有實時應用場景的客戶（如實時大屏、實時風控等）對於數據寫入的實時性有著極高要求，要求數據寫入即可見。同時，由於企業數據來源複雜，會涉及到許多的數據更新、修正的場景，進一步加大了實時寫入與更新的難度。Hologres作為一站式實時數據倉庫引擎，提供海量數據高性能的實時寫入，數據寫入即可查。同時，阿裏雲實時計算Flink版+Hologres可通過主鍵提供高性能的Upsert能力，整個寫入和更新過程確保Exactly Once，滿足對數據的合並、更新等需求。

 

      企業在數據寫入時，還麵臨著數據時效性低、成本高、同步效率低等困難。本次發布的表結構變更自動同步功能解決了數據時效性問題，整庫同步功能減少了資源浪費，分庫分表合並同步提升了數據同步效率。

 

      隨著業務的迭代和發展，數據源的表結構變更已成為常見現象，企業需要及時修改實時同步作業以適配最新的表結構。這些操作帶來了較高的運維成本，也影響了數據時效性。為解決這個問題，阿裏雲實時計算Flink版支持通過Catalog實現元數據的自動發現和管理，配合 CTAS （Create Table AS）語法，使用一行SQL實現數據同步和表結構的變更自動同步，降低運維成本，提升數據時效性。在實際工作場景中，分析師常要通過單張表逐一同步的方式將整個數據庫同步到數倉中做進一步分析，不但浪費資源，也為上遊數據庫帶來較大壓力。針對這個問題，阿裏雲 Flink CDC 提供了整庫同步特性，節省成本，降低數據庫壓力。另外，分析師也常常需要將分庫分表的業務數據匯聚到一張數倉中的大表中進行分析，針對這種場景，阿裏雲實時計算Flink版+Hologres提供了分庫分表合並同步特性，通過在 CTAS 語法支持源庫和源表的正則表達式，源數據庫的分表可以高效地合並同步到下遊 Hologres 數倉中。查詢與分析：本次發布的Hologres實時物化視圖功能優化了聚合場景，減少計算量，顯著提升查詢性能。JSON列式存儲優化提升了半結構化數據查詢和存儲效率。Hologres Binlog + 阿裏雲實時計算Flink版支持了有狀態的全鏈路事件實時驅動開發場景。

 

      Hologres新版本已支持實時物化視圖功能，數據在寫入時即預計算，以空間換時間，提高查詢效率。JSON作為一個數據單位，提供了存儲上的靈活性，但限製了分析時的效率，為了訪問JSON中部分節點不得不讀取整個JSON數據結構，效率非常低下，存儲上也很難壓縮。Hologres的JSON列式存儲優化，平衡了靈活性(Schemaless)與性能，提升數據存儲壓縮效率，減少數據轉換等操作，提升查詢效率。Binlog是Hologres很有特色的新能力，支持對每次數據更新的詳細記錄，應用在數倉層次間數據實時加工、多實例間數據同步、數據行列轉換 、數據變化檢測等多種場景。

 

      企業級能力方麵：Hologres提供了數據加密和脫敏、訪問控製、容災備份等能力。

 

      除了產品功能發布外，產品專家還分享了某知名全球TOP20遊戲公司的案例。該客戶通過阿裏雲Flink版+Hologres實時數倉方案替換開源架構，簡化數據處理鏈路，統一數倉架構，統一存儲，提升查詢性能，完美支撐數據分析、廣告投放、實時決策等多個場景，助力業務快速增長。