复旦百度联手突破！音频直接生成4K一小时长视频

更新时间：2024-10-21 10:15  浏览量：13

【ITBEAR】复旦大学与百度携手推出全新AI模型——Hallo2，该模型已正式在GitHub开源。Hallo2能够生成长达数小时、分辨率为4K的人物动画，相较于前代模型，实现了显著提升。

Hallo2模型基于latent diffusion models构建，引入了数据增强方法，如patch-drop和高斯噪声，有效提升了长时间视频的视觉一致性和时间连贯性。同时，该模型还结合了向量量化生成对抗网络和时间对齐技术，确保了高分辨率视频的质量和流畅性。