复旦携百度首发:Hallo2模型,1小时4K视频一键生成!
更新时间:2024-10-21 14:36 浏览量:9
【ITBEAR】复旦大学与百度携手推出全新AI模型Hallo2,该模型已正式在GitHub开源。Hallo2能够生成长达数小时的4K高清人物动画,为AI动画领域带来重大突破。
基于latent diffusion models构建,Hallo2在视觉效果上超越前代,特别支持长视频生成。通过引入patch-drop和高斯噪声等数据增强方法,该模型显著提升了长时间视频的视觉一致性和时间连贯性。
Hallo2还融合了向量量化生成对抗网络和时间对齐技术,确保高分辨率视频的质量与流畅度。该模型创新性地将可调整的语义文本标签肖像表情作为条件输入,不仅提高了可控性,还丰富了生成内容的多样性。
Hallo2项目详情,请访问:https://fudan-generative-vision.github.io/hallo2/#/