复旦与百度强强联手，Hallo2模型数小时生成4K人物动画

更新时间：2024-10-21 23:45  浏览量：9

【ITBEAR】复旦大学携手百度，近期共同推出了名为Hallo2的AI模型，这一创新成果在视频生成领域取得了显著突破。该模型能够生成长达数小时、分辨率为4K的高质量人物动画，并已开源至GitHub，供全球开发者免费使用与研究，为视频生成技术的普及与发展注入了新动力。

Hallo2的亮点在于其引入了可调整的语义文本标签，使得肖像表情的生成更加可控且多样化。这一特性使得Hallo2成为首个能够实现4K分辨率、长达1小时音频驱动人像图像动画的AI模型。

在应用领域，Hallo2展现出广泛潜力。在电影和视频制作中，它可用于增强角色的面部表情和口型动画；在虚拟助手和数字人领域，Hallo2则能创造出逼真的虚拟形象，提升用户体验。

技术层面，Hallo2基于latent diffusion models构建，并引入了数据增强技术，如patch-drop和高斯噪声，以及向量量化生成对抗网络和时间对齐技术，确保了视频的视觉一致性、时间连贯性以及高质量与流畅性。