您的位置首页 >科技 >

Adobe的Project Sweet Talk使肖像生动起来

导读 传统上,Adobe MAX上最有趣的会议之一是Sneaks主题演讲,公司各个部门的工程师在此展示他们最前沿的工作。有时,这些变成产品。有时他们没

传统上,Adobe MAX上最有趣的会议之一是Sneaks主题演讲,公司各个部门的工程师在此展示他们最前沿的工作。有时,这些变成产品。有时他们没有。如今,很多工作都集中在基于Adobe Sensei平台的AI上。今年,该公司为我们提供了有关Sweet Sweet Talk项目的早期信息,这是今晚活动的重点内容之一。

这里的想法很简单,但是很难实现:拍摄肖像,无论是绘画还是绘画,识别面部的不同部分,然后与画外音同步地对嘴进行动画处理。如今,Adobe的Character Animator(您可能已经在与Stephen Colbert的《 The Late Show》等节目中看到过)做到了其中的一部分,但是动画数量有限,即使是最好的动画师,结果也无法做到”总是看起来很逼真的(在产品中为动画制作的图纸尽可能)。Sweet Talk项目要聪明得多。它分析画外音,然后使用其AI智能工具对角色的嘴和头进行逼真的动画处理。

由Adobe研究人员Dingzeyu Li领导的团队,与周扬(美国麻萨诸塞大学),Jose Echevarria和Eli Schectman(Adobe Research)一起,将他们的模型实际投放了数千个小时的真实人与摄像头交谈视频YouTube。出乎意料的是,该模型确实很好地转移到了绘画上,即使与团队合作的面孔(包括漂亮的动物面孔基本图纸)看起来并不像人脸。

“动画很难,我们都知道这一点,”李告诉我。“如果大家都知道,如果我们想将人脸与给定的音轨对齐,那就更加困难了。Adobe Charter Animator已经具有一种从场景音频中进行“计算嘴唇同步”的功能,并且可以向您显示限制。那显然不是很现实的样子。如果您看一下这篇文章中嵌入的示例,您会发现团队会自动巧妙地变形脸部,使它们看起来更逼真-全部来自基本的JPG图像。

因为它确实可以使脸部变形,所以Project Sweet Talk不能很好地处理照片。他们看起来不正确-这也意味着没有必要担心有人滥用此项目来获取伪造品。“告诉我们,要生成逼真的深层假象,需要大量的训练数据。”“在我们的案例中,我们只关注可从图像预测的地标,而地标足以使动画动起来。但是在我们的实验中,我们发现仅凭地标不足以生成逼真的[基于]动画。

从长远来看,Adobe可能会将此功能内置到Character Animator中。李还告诉我,建立一个实时系统(类似于今天的Character Animator中的功能)在团队的优先级列表中排在首位。

标签:

免责声明:本文由用户上传,如有侵权请联系删除!
Baidu
map