近日， ECCV'24在意大利米蘭如期舉辦。在本次大會上，華為雲美女福利导航創新部-媒體創新Lab和上海交通大學星空人工智能研究院合作發表論文《Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture》！
論文提出首個基於三維高斯潑濺的自動動態人臉幾何和紋理重建框架，能夠直接從多視角視頻中重建拓撲一致的幾何表麵和包含毛孔級細節的動態8K紋理貼圖，無需人工操作，加速傳統流程數十倍。
ECCV全稱為European Conference on Computer Vision（歐洲計算機視覺國際會議），是計算機視覺領域中最重要和最具影響力的國際會議之一，與ICCV（國際計算機視覺大會）和CVPR（計算機視覺與模式識別會議）並稱為計算機視覺領域的“三大頂會”。ECCV每兩年舉辦一次，本屆會議共收到12000餘篇投稿，有2395篇文章被接收，錄用率僅19.96%。
4D人臉重建旨在從視頻中生成動態拓撲網格和相應的紋理貼圖，由於其能夠模擬真實的麵部肌肉抖動、毛孔擠壓和褶皺，被廣泛用於電影、遊戲等產業。當前業界常用的傳統方法大多基於多目立體視覺和非剛性配準美女福利导航，這種方法易於出錯且需要專業藝術家耗費大量時間進行手工修飾。現有的基於深度學習的方法大多需要大量昂貴的數據用於訓練，難以擴展到新的拍攝係統和訓練集中未出現的表情，且幀間一致性較差。
為了解決上述問題，本文提出了Topo4D，在跟蹤動態三維高斯運動的同時保持穩定的拓撲關係，實現快速的高質量動態人臉重建。
▲Topo4D論文介紹，方法能夠生成高保真幾何和紋理，同時支持重打光和重定向應用
Topo4D提出了高斯網格（Gaussian Mesh），通過將高斯點綁定到網格頂點將三維人臉表示為一組具有固定拓撲關係的動態三維高斯點集，並在每一幀執行交替幾何和紋理優化實現高質量的幾何和紋理學習。
為了在優化三維高斯的同時保持穩定的拓撲和良好的布線，Topo4D利用一組基於物理先驗的損失建模高斯點的三維運動，實現了長距離頂點跟蹤。除此之外，Topo4D還借助基於拓撲先驗的損失從高斯點集中提取高質量網格。
為了學習真實的毛孔級紋理顏色，並從高斯點集中生成高分辨率紋理貼圖。Topo4D提出了UV空間稠密化方法，在不打破預定義的拓撲和UV關係的情況下建立稠密高斯網格，將真實稠密紋理顏色正確映射到UV貼圖空間中。
▲Topo4D框架示意圖
大量的實驗表明，Topo4D在網格和紋理質量方麵都優於現有的三維人臉重建方法，同時具有更好的可擴展性、可泛化性和時間一致性。加速了傳統方法數十倍且無需人工操作。
華為雲媒體創新Lab與國內外頂尖高校建立合作關係，致力於研發基於下一代計算與顯示平台的4D Avatar美女福利导航，已深度開展基於三維高斯潑濺的數字人及AIG3D等相關領域的創新性研究。具體研究方向除本論文涉及的高質量動態人臉重建外，還包括多模態控製的數字人動作驅動，數字人屬性編輯，和高保真數字人重打光等。該方向的研究成果後續將被應用在XR眼鏡、裸眼3D等前沿設備上，為用戶帶來更真實的虛擬交互體驗。
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > AI美學 » 首個基於3DGS的高質量動態人臉重建！華為雲論文在頂會ECCV'24發布
華為雲張宇昕：雲原生與AI將激發七大