What is DreamActor-M1?
DreamActor-M1 在人像動畫領域實現了突破,它解決了三個關鍵挑戰:精細控制細微的面部表情、從人像到全身鏡頭的多尺度適應性,以及長時間影片的長期一致性。這項技術採用 Diffusion Transformer 架構,結合了隱式面部表示、3D 頭部球體和可調整的身體骨架等混合引導系統,能精準控制面部表情和身體動作,同時保留人物身份。透過互補的外觀引導和漸進式訓練,DreamActor-M1 在僅使用單張參考圖像的情況下,創造出逼真且富有表現力的人像動畫,表現優於現有的方法。
DreamActor-M1 的主要特色
混合控制訊號 - 結合隱式面部表示、3D 頭部球體和自適應身體骨架,以實現精準的動畫控制
精細的面部表情 - 捕捉眨眼和嘴唇動作等細微細節,同時保留人物身份
多尺度適應性 - 在不同圖像比例(人像、半身和全身鏡頭)之間無縫運作
長期時間連貫性 - 在複雜的動作和長時間的動畫中,保持未見區域的一致性
互補的外觀引導 - 使用策略性產生的視點來填補遺漏的資訊缺口
漸進式訓練策略 - 三階段方法,可在各種場景中實現有效的學習
音訊驅動能力 - 可以直接從語音訊號產生面部表情,以實現逼真的唇語同步
State-of-the-art performance - 在標準評估指標(FID、SSIM、PSNR、LPIPS、FVD)上優於現有的方法
DreamActor-M1 的實際應用
賦予數位分身生命: 想像一下,只需一張個人資料圖片,就能為您的受眾或服務產生一段簡短、富有表現力的影片訊息。DreamActor-M1 可以根據您的錄音使臉部動畫化,透過逼真的唇語同步和細微的情感提示,創造出個人化的觸感。
強化創意專案: 您有一個很棒的角色插圖,但缺乏複雜的 3D 骨架綁定資源。使用 DreamActor-M1 使角色執行特定的動作(如揮手、走路或做出反應),這些動作可以基於驅動影片或姿勢指示,為您的概念藝術或故事板添加動態效果。
視覺化動作概念: 作為編舞者或動畫師,您希望使用特定表演者的圖像快速視覺化舞蹈序列。上傳圖像並使用舞蹈影片作為驅動。DreamActor-M1 將動作轉換到目標圖像上,在準確複製複雜的全身動作的同時,保留表演者的外觀,幫助您有效地建立想法原型。
提升您的動畫品質
DreamActor-M1 提供了一條精緻且易於使用的途徑,可以建立高保真的人像動畫。透過解決表情控制、尺度適應性和時間一致性等核心挑戰,它為任何需要從最少的輸入中逼真地製作人物動畫的人,提供了一個強大的工具。它基於先進的 AI 技術,確保了結果顯著優於以前的方法,讓您能夠更輕鬆地製作引人入勝、栩栩如生的動畫。





