复旦与百度联手发布Hallo2 AI模型，4K人物动画数小时速成

更新时间：2024-10-21 19:45  浏览量：8

【ITBEAR】复旦大学与百度强强联手，成功研发出革命性AI模型——Hallo2，该模型在视频生成技术上取得了里程碑式的突破，能够生成分辨率高达4K、时长可达数小时的人物动画。这一创新成果已在GitHub平台开源，供全球开发者免费使用，旨在推动视频生成技术的普及与进步。

Hallo2模型的核心亮点在于其引入了可调整的语义文本标签肖像表情作为条件输入，显著提升了生成内容的可控性和多样性。这一特性使得Hallo2成为业界首个实现4K分辨率、长达1小时音频驱动人像图像动画的AI模型。

在电影和视频制作领域，Hallo2能够生成或增强角色的面部表情和口型，为科幻和动画电影提供新的创作手段。同时，在虚拟助手和数字人领域，Hallo2也能发挥重要作用，创建逼真的虚拟形象，提升用户体验。

技术层面，Hallo2基于latent diffusion models构建，在视频生成效果上较前代模型有显著提升。通过引入数据增强技术，如patch-drop和高斯噪声，Hallo2有效提升了长时间视频的视觉一致性和时间连贯性。结合向量量化生成对抗网络和时间对齐技术，Hallo2确保了视频的高质量与流畅性。