Boximator 是由字節(jié)跳動研究團隊開發(fā)的一款創(chuàng)新視頻生成工具,旨在通過先進的深度學(xué)習(xí)技術(shù)實現(xiàn)豐富且可控的視頻動作。其核心功能是結(jié)合“Box”(框)和“Animator”(動畫師)的概念,為用戶提供了一種靈活且用戶友好的方式來控制視頻中對象的運動軌跡和路徑。
Boximator官網(wǎng)入口網(wǎng)址:https://boximator.github.io/

Boximator 的工作原理基于雙重約束框(硬框和軟框)的設(shè)計。用戶可以在條件幀中選擇對象,并使用硬框精確定義對象的位置、形狀或運動路徑,而軟框則提供更靈活的范圍,允許對象在指定區(qū)域內(nèi)自由移動。這種設(shè)計不僅提高了動作的精確性,還增強了動畫的自然流暢性。
Boximator 的技術(shù)背景包括對現(xiàn)有視頻擴散模型的插件化擴展。它通過凍結(jié)基礎(chǔ)模型權(quán)重,僅訓(xùn)練控制模塊,從而保留了基礎(chǔ)模型的知識。此外,Boximator 引入了自跟蹤技術(shù),能夠?qū)W習(xí)框與對象之間的相關(guān)性,從而實現(xiàn)多階段訓(xùn)練過程,逐步提高對運動控制的理解。
Boximator 的實際應(yīng)用非常廣泛,適用于視頻內(nèi)容創(chuàng)作、廣告制作、教育演示以及娛樂產(chǎn)業(yè)等領(lǐng)域。例如,用戶可以利用 Boximator 創(chuàng)作生動的教育視頻,為電影或電視劇添加視覺效果,或者生成獨特的廣告內(nèi)容。其高度個性化的功能使其成為藝術(shù)家、設(shè)計師和營銷專業(yè)人士的理想工具。
Boximator 的官網(wǎng)(https://boximator.github.io/ )提供了豐富的功能介紹和演示示例。用戶可以通過電子郵件體驗其功能,發(fā)送輸入圖像和文本提示后,系統(tǒng)將生成相應(yīng)的視頻。此外,Boximator 還支持多主體支持和路線定制功能,允許用戶為多個對象設(shè)置不同的運動路徑。
Boximator 是一款開創(chuàng)性的視頻生成工具,通過結(jié)合硬框和軟框約束、深度學(xué)習(xí)技術(shù)和用戶友好的交互設(shè)計,為創(chuàng)作者提供了前所未有的視頻動作控制能力。其強大的功能和靈活的應(yīng)用場景使其在視頻生成領(lǐng)域具有重要的意義。



