AnchorCrafter 是由中國科學院與騰訊聯合推出的一款基于擴散模型的 AI 虛擬主播帶貨視頻制作系統，旨在通過人-物交互（HOI）技術生成高保真度的產品推廣視頻。該系統特別適用于電商、廣告和內容創作領域，能夠顯著提升視頻制作效率和質量，同時降低制作成本。

AnchorCrafter官網入口網址：https://cangcz.github.io/Anchor-Crafter/

AnchorCrafter開源項目地址：https://github.com/cangcz/AnchorCrafter

技術原理與創新

AnchorCrafter 基于擴散模型架構，使用擴散 UNet 和變分自編碼器（VAE）處理視頻幀，將視頻內容編碼到潛在空間，并從噪聲中重建高質量的視頻幀。其核心技術包括：

• HOI-外觀感知（HOI-appearance perception） ：通過多視角特征融合，增強模型對物體形狀和紋理的識別能力，實現人物與物體外觀的分離。
• HOI-動作注入（HOI-motion injection） ：通過克服對象軌跡條件化和相互遮擋管理的挑戰，實現復雜的人物-物體交互。
• HOI 區域重加權損失（HOI region reweighted loss） ：增強對物體細節的學習，確保生成視頻中人物外觀和動作的一致性。

核心功能

• 高保真度視頻生成：AnchorCrafter 能夠生成自然流暢且高度真實的視頻，人物和物體的動作細節逼真，視覺效果優于現有方法。
• 人-物交互控制：用戶可以精確控制虛擬主播的動作和與商品的交互方式，如拿起、展示等，實現高度自然的互動效果。
• 多視角對象特征融合：通過參考多個視角的對象圖像提取物體的外觀特征，增強模型對物體形狀和紋理的識別能力。
• 高效訓練數據利用：盡管訓練數據集相對較小，但系統通過優化訓練策略，有效提升了生成視頻的質量。

應用場景

AnchorCrafter 主要應用于電子商務、在線廣告和內容創作等領域。其核心優勢在于：

• 電商帶貨：通過生成自然流暢的主播風格視頻，提升產品展示效果，吸引消費者注意力，提高轉化率。
• 廣告制作：快速生成高質量的廣告視頻，降低制作成本，提高廣告投放效率。
• 內容創作：為內容創作者提供強大的工具，輕松制作互動性強的視頻內容。

使用流程

1. 訪問官網：用戶可通過官網（https://cangcz.github.io/Anchor-Crafter/ ）了解系統功能并進行試用。
2. 上傳素材：準備目標人物和商品的圖片或視頻素材，并上傳至系統界面。
3. 設置交互場景：根據需求設計人物與商品的交互場景，并調整相關參數。
4. 生成視頻：啟動生成過程，系統將自動生成高質量的視頻內容。
5. 后期編輯：用戶可對生成的視頻進行預覽和后期編輯，確保最終效果符合預期。

AnchorCrafter 是一個集成了先進 AI 技術的虛擬主播帶貨視頻制作工具，通過人-物交互技術實現了高保真度和可控性的視頻生成。其強大的功能和廣泛的應用場景使其成為電商、廣告和內容創作領域的有力工具。