Multitalk 是一個由多個人物驅動的音頻驅動多人物對話視頻生成系統。它能夠根據音頻輸入、參考圖像和提示生成包含互動、對話、唱歌和卡通角色的視頻內容。該系統支持單人或多人物生成、交互式虛擬人物控制、卡通角色生成、分辨率靈活性（480p 和 720p）以及長達 15 秒的視頻生成。

• MultiTalk官網入口網址：https://meigen-ai.github.io/multi-talk/
• MultiTalk開源項目地址：https://github.com/MeiGen-AI/MultiTalk

Multitalk 的核心創新在于其音頻驅動的多人物對話視頻生成框架，能夠根據多路音頻輸入、參考圖像和提示生成符合音頻內容的唇部動作和互動視頻。該系統支持多種優化技術，如 INT8 量化、SageAttention、TeaCache 加速、多 GPU 推理、低 VRAM 推理等，以提升性能和效率。

Multitalk 的開發團隊由多位研究人員組成，包括 Zhe Kong、Feng Gao、Yong Zhang 等，他們在人工智能、計算機視覺和多媒體生成領域具有深厚的專業背景。該項目已發布在 Hugging Face、GitHub 和 Replicate 平臺，并提供了詳細的模型下載、推理代碼和使用示例。

Multitalk 的目標是推動多人物對話視頻生成技術的發展，為虛擬人物、娛樂、教育和內容創作等領域提供強大的技術支持。其開源模型和工具的開放性，也為研究者和開發者提供了豐富的資源和靈活性。

Multitalk 的官方網站和項目頁面提供了詳細的文檔、模型下載、使用指南和社區支持，是研究和應用該技術的重要資源。