AI视频又一大突破！一人一机，拍出电影级动画表情捕捉
更新时间：2024-10-23 17:59 浏览量：13
编译 | 汪越
编辑 | 漠影
智东西10月23日消息，据VentureBeat报道，10月22日，明星AI视频创企Runway推出了一项名为Act-One的新功能。
Act-One集成在了Runway的视频生成模型Gen-3 Alpha中。用户可以使用手机或相机轻松录制自己或他人的视频，之后利用Act-One功能将录制对象的面部表情转移到AI生成的角色上。
根据Runway官方博客发布的信息，从昨天开始，该公司已逐步向现有用户开放Act-One功能，并计划在未来不久内全面开放给所有用户。
自2022年底首批文生视频模型问世以来，AI视频技术在真实性、分辨率、保真度、提示匹配度（即AI生成的视频与用户提供的描述或示例的契合程度）以及生成数量等方面取得了显著进步。
然而，对于许多AI视频创作者来说，一个持续存在的挑战是如何在AI生成的角色中实现真实且可控的面部表情。大多数现有的解决方案在这方面表现得相当有限。
如今，Act-One功能为这一难题提供了解决方案，在使用生成模型来再现真人动作和动画内容方面迈出了重要的一步。
所有拥有Runway账户的用户都可以尝试这项新功能，通过Gen-3 Alpha视频生成模型来创建新的视频。不过，目前只有积分充足的用户才能使用该功能。Gen-3 Alpha于今年早些时候推出，支持多种输入方式，包括文字转视频、图片转视频及视频转视频。用户可以通过描述场景、上传图片或视频，或者结合这些元素，让Gen-3 Alpha基于输入内容生成全新的视频。
尽管Act-One当前的可用性仍然有限，但已经获得了不少AI视频创作者的高度评价。此外，Runway最近宣布与好莱坞知名电影公司狮门影业达成合作，将基于狮门影业超过2万个影片的内容库，开发定制化的AI视频生成模型。
传统的面部动画制作通常是一个复杂且耗时的过程，涉及动作捕捉设备、手动面部绑定和多个参考镜头。这些技术的目标是将演员的表演转化为适合动画流程的3D模型。
对电影制作感兴趣的人可能在片场或观看《指环王》系列、《阿凡达》等特效和动作捕捉电影的幕后花絮时，了解到这一过程的复杂性。例如，在《猩球崛起》中，演员们全身布满乒乓球标记，脸上也贴满了标记，并佩戴着头戴式设备。
▲演员脸上布满标记，并被头戴式设备挡住。（图源：YouTube）
据VentureBeat报道，正是这种对复杂面部表情精确建模的需求，促使导演大卫·芬奇（David Fincher）和他的团队在《本杰明·巴顿奇事》中开发了全新的3D建模流程，并最终赢得了奥斯卡奖。
传统3D动作捕捉的主要难点在于如何在数字角色中保留参考镜头中的情感和细微表情。为了克服这一难题，近年来许多AI初创公司致力于减少精确动作捕捉所需的设备。例如，去年成功筹集了1000万美元种子轮融资的3D动作捕捉应用Move AI，推出了一项单设备动作捕捉功能。通过这一功能，用户可以使用智能手机摄像头或数码相机，实现对全身和更广泛动作的捕捉。
相比之下，Act-One使这一复杂过程变得更加简单易懂。Act-One专注于面部表情建模，用户可以通过简单的摄像机设置准确捕捉演员的表演，包括眼神、微表情和微妙的节奏。这样，创作者可以以各种风格和设计制作角色动画，而无需使用动作捕捉设备或进行角色绑定。
▲只需简单的演员表演视频，即可为生成的角色制作动画。（图源：Runway）
正如Runway在其X账号上所述：“Act-One能够将单一输入视频中的表演转化为无数不同的角色设计和多种风格。”
Act-One适用于各种参考图像，能够保留真实的面部表情，并将表演精准地转换到不同比例的角色上。这种多功能性为创意角色设计和动画开辟了新的可能性。
▲使用简单的家用摄像机即可捕捉演员的表演，并为生成的角色制作动画。此外，还可以添加语音交替效果。（图源：Runway）
Act-One的一大优势在于它能够从各种摄像机角度和焦距提供电影级的逼真输出，并且在不同角度下都能保持高保真的面部动画。这种灵活性增强了创作者通过角色表演讲述情感共鸣故事的能力，而这在过去通常需要昂贵的设备和复杂的多步骤工作流程才能实现。
Runway之前已经支持视频到视频的AI转换功能，允许用户上传自己的视频，并让Gen-3 Alpha或其他先前的Runway AI视频模型（如Gen-2）对其进行“重新设计”。新的Act-One功能特别针对面部映射和效果进行了优化。Runway联合创始人兼首席执行官克里斯托弗·巴伦苏埃拉（Cristóbal Valenzuela）在接受VentureBeat采访时提到，一致性和性能是Act-One的突出特点。
▲捕捉真人表演，输出逼真的电影人物。（图源：Runway）
此外，Runway一直在探索Act-One如何生成多回合、富有表现力的对话场景，这在过去使用生成视频模型时是非常具有挑战性的。
现在，用户只需使用普通相机和一名演员阅读并表演剧本中的不同角色，即可创建叙事内容。一个演员仅用常见的相机就可以扮演多个角色，模型会为每个角色生成不同的输出。这种能力有望改变叙事内容的创作方式，特别是在独立电影制作和数字媒体领域，这些领域通常缺乏高端制作资源。
巴伦苏埃拉在X上公开说道，行业处理生成模型的方式发生了转变。现在，人们已经超越了质疑生成模型是否能生成一致视频的阶段。一个好的模型已成为新的基准。关键在于如何使用这个模型，如何思考它的应用和用例，以及最终构建的内容。
▲使用单个演员和摄像机设置编辑的多机位对话场景，驱动两个独特生成角色的表演。（图源：Runway）
Runway的安全生成媒体基础是其当前和未来发布的Act-One的基础。与Runway的所有版本一样，Act-One配备了一套全面的内容审核和安全预防措施。这些措施包括检测并阻止生成包含公众人物内容的尝试，技术验证措施确保最终用户有权使用他们通过自定义语音创建的语音，以及持续监控以检测并减少对工具和平台的潜在滥用。
Act-One突破了AI面部识别技术的障碍，将有助于Runway在与越来越多竞争对手的竞争中脱颖而出。竞争对手包括，AI视频初创公司Luma AI、中国AI初创公司MiniMax旗下的AI视频生成器Hailuo、快手旗下的AI视频模型Kling，以及AI视频初创公司Genmo昨天刚推出的Mochi 1开源视频生成模型。
通过减少传统角色动画的技术障碍，Runway有望在数字媒体领域激发新的创造力。借助Act-One，复杂的动画技术变得更加易于使用。随着Act-One的推出和被更多使用，我们或许会看到许多艺术家、电影制作人和其他创作者利用这一新工具实现他们的创意。