AniPortrait 是由騰訊游戲智跡團(tuán)隊(duì)研發(fā)的一款開(kāi)源 AI 工具，旨在通過(guò)音頻和參考肖像圖像生成高質(zhì)量的動(dòng)態(tài)視頻動(dòng)畫(huà)。該項(xiàng)目的核心功能是將靜態(tài)肖像轉(zhuǎn)化為生動(dòng)的動(dòng)畫(huà)形象，同時(shí)支持音頻驅(qū)動(dòng)的面部表情和頭部姿勢(shì)控制，使生成的動(dòng)畫(huà)與輸入音頻同步，呈現(xiàn)出逼真的視覺(jué)效果。

• AniPortrait項(xiàng)目官網(wǎng)入口網(wǎng)址：https://github.com/Zejun-Yang/AniPortrait
• AniPortrait在線演示網(wǎng)址：https://huggingface.co/spaces/ZJYang/AniPortrait_official

AniPortrait 的工作流程分為兩個(gè)主要階段：首先是 Audio2Lmk（音頻到 2D 面部標(biāo)記點(diǎn)），該模塊從音頻中提取關(guān)鍵信息，包括面部表情和頭部姿態(tài)的 3D 網(wǎng)格和頭部姿態(tài)信息；其次是 Lmk2Video（2D 面部標(biāo)記點(diǎn)到視頻），該模塊利用提取的面部特征生成高質(zhì)量的動(dòng)態(tài)視頻。此外，AniPortrait 還支持人臉重繪功能，允許用戶將照片中的人物替換到源視頻中，從而實(shí)現(xiàn)更加靈活的動(dòng)畫(huà)創(chuàng)作。

AniPortrait 的技術(shù)特點(diǎn)包括：

• 音頻驅(qū)動(dòng)的動(dòng)畫(huà)合成：通過(guò)分析音頻中的語(yǔ)音節(jié)奏和音調(diào)，自動(dòng)調(diào)整人物的面部表情和口型，使其能夠說(shuō)話或唱歌。
• 高質(zhì)量的視覺(jué)效果：利用擴(kuò)散模型和運(yùn)動(dòng)模塊，生成高分辨率、時(shí)間一致性的逼真動(dòng)畫(huà)。
• 靈活的模型配置：用戶可以根據(jù)需求調(diào)整模型權(quán)重和配置參數(shù)，以實(shí)現(xiàn)個(gè)性化的動(dòng)畫(huà)效果。
• 廣泛的應(yīng)用場(chǎng)景：適用于游戲開(kāi)發(fā)、虛擬主播、社交媒體內(nèi)容創(chuàng)作、藝術(shù)創(chuàng)作等多個(gè)領(lǐng)域。

AniPortrait 的開(kāi)源特性使其具有較高的靈活性和擴(kuò)展性。用戶可以通過(guò) GitHub 獲取代碼并進(jìn)行定制開(kāi)發(fā)，同時(shí)社區(qū)提供了詳細(xì)的文檔和支持，幫助新手快速上手。此外，AniPortrait 還支持多種語(yǔ)言，并且能夠適應(yīng)不同的硬件配置，進(jìn)一步提升了其普適性和實(shí)用性。

AniPortrait 是一個(gè)功能強(qiáng)大且靈活的 AI 動(dòng)畫(huà)生成工具，能夠滿足用戶在動(dòng)態(tài)視頻制作中的多樣化需求。無(wú)論是專(zhuān)業(yè)人士還是普通用戶，都可以通過(guò) AniPortrait 創(chuàng)作出獨(dú)一無(wú)二的藝術(shù)作品或?qū)嵱脙?nèi)容。