首页 科技 正文

大叔还能“改变”可爱的妹妹?一个动漫头像就可以了,还会说话唱歌。

萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI

只需要1张动漫头像,就可让你的二次元老婆“开口措辞”:

甚至可以像虚拟主播一样摇摆脑袋唱歌:

不但如此,动漫头像还能模拟你的口型和头部动作,实时“唱”出想要的后果来(作者亲身上场):

切实其实是老二刺螈玩家的福音。而且,不想露面的主播,也有了新的免费“虚拟主播”可选择。

那末,这是用的甚么道理,让模子能到达如许的后果?

用3D模子,让2D头像动起来

这个模子最焦点的思惟,就是将图片和姿态参数输入系统,来“改变”输入图片中动漫人物的姿态。

听起来异常简单,但实际上其实不轻易实现。其一,对应的数据集不好找;其二,收集的系统布局和演习不轻易搭建。

而且,作者也没能如愿找到多姿态的2D动漫脚色数据集。

怎样办?

颠末思虑,作者选择接纳大年夜量3D模子(约8000个)对收集进行演习,由于这些3D模子的参数,是可控的。

除此之外,也还需要设计模子注释,以“圈”出模子的头部、发型和配饰等“需要扭转”的处所。

而动漫人物颠末转变的眼睛和嘴型,也需要伶仃提掏出来,用于考虑各类人物脸色的转变。

按照3D人物的实际动画后果,就可以设计出对应的收集了:从人物最主要的两个动作,即改变脸色和扭转脸部,来让人物“动起来”。

也就是说,起首需要节制眼睛和嘴张开的程度,然后,再想举措让动漫人物的头部“转起来”。

先是改变脸色。这一步调相对简单,只需要找到一个张嘴、睁眼的动漫头像,就可以用算法,让主角眨眼睛、改变嘴型。

但节制脸部扭转的算法,则要更复杂一些,由于陪同着脸部动弹的,当然只有头部,但还要连同发型和配饰一同动弹。

作者进一步改良算法后,节制脸部扭转的收集模子,变得加倍细化了一些:

起首找到需要扭转的部分、完成扭转,然后将输出图象的色彩节制与输入像素对应,最后将后果进行连络。

从人物的晃头、前后摆动来看,后果还长短常不错的。

不外,这还不是作者想要的模子,究竟虹膜和眉毛还不克不及转变。

在对算法进行优化后,最新的模子,不但能活灵活现地做诞生气、厌恶、沮丧的脸色来,还能改变瞳孔和眉毛的外形,人物看起来也更真切了。

后果若何?

利用到单张2D头像上的后果,照样挺能打的:

不但能颠末历程视频人脸检测,实时模拟人物的口型和脸色:

还能用已有的视频人物节制它“措辞”、“唱歌”,化身“虚拟主播”:

不外,单从3D模子的衬着后果来看,有时会呈现一些失落误,需要适合进行调剂。

例如……这位黄发少年身上的剑,就会“随头移动”:

当然头部的扭转已异常完善,不外,本该在背后的剑,却也随着头部动弹了起来……

作者本人也提到了这些细节,而且也指出,对某些发型较量非凡的动漫人物来讲,切实其实会呈现不那末完善的环境。

例如,随着头部动弹,呈现辫子被“切断”的环境:

不外,这些也都照样细节上的问题。

作者透露显露,数据集也需要重点存眷:他找的动漫头像,根基都是人物头像。

也就是说,假如演习数据与脚色外不雅不同较大年夜(例如兽人),就会呈现这类环境:

假如你是兽人玩家,可能还需要自行筹办数据集,再演习一个模子出来。

Pramook Khungurn,本硕卒业于MIT,博士就读于康奈尔大年夜学较量争论机科学系,今朝在谷歌日本(Google Japan)工作,专注于衬着算法和外不雅建模的研究。

念书时期,他也有良多较量争论机系的论文颁发在SIGGRAPH等顶会上。(而且,还具有比满分更高的GPA)

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.lcvip.net/kj/2211.html