首页 科技 正文

祖传人像玩家,如何把AI展现到一个新的高度。

萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI

从今往后,合照没需要耽忧站在边缘会变形了:

而今这类硬件所限的bug,正在被一举解决,且了无陈迹:

除解救变形的人脸,还可以有人性化的素颜级美颜。

好比真实的你 VS 素颜级美颜的你:

从脸到脖子的贴心美白,懂你省心的祛痘P图,但又恰到优点地留下你标记性的泪痣,让分享到朋侪圈的你不至于有美颜陈迹的尴尬。

当然,5G时期、短视频时期,人像手艺、美颜能力,天然也得与时俱进。

哪怕你的手和过山车一样抖,拍出的视频(图左),也可以或许和用了几千块的不乱器一样清楚。

而这,就是AI可以带来的最新最前沿人像手艺能力。

而且祖传人像玩家,还把一切all in到了手机里,把手机AI人像实现弄出新高度。

没错,说的就是OPPO。

若何的AI人像新能力?

畅通领悟了人脸检测、脸部关头点检测、超分说率算法、语义豆割、主动补帧等一系列前沿AI手艺。

全称:OPPO FDF全维人像视频手艺系统。

这也是业内首个针对人像视频拍摄打造的AI影象手艺系统。

这个由感知人像引擎和画质增强引擎构成的系统,不但能让照片里的人看起来更好看,画面质感也能获得质的晋升。

具体若何做到的,我们一一具体解构。

所谓感知人像引擎,就是针对拍摄时的人像区域进行优化,其焦点手艺包孕AI人脸检测/关头点检测、AI超清人像(暗景/长焦拍摄也高清)、OFL肤质优化、人脸畸变改正四大年夜项。

这四项手艺,都需要很强很稳,不克不及有偏科。

以人脸检测为例,这是人像引擎中最根本的手艺,但颠末OPPO优化后的特点金字塔(FPN)算法,能在25ms内到达99.78%的人脸辨认正确率。

而在人脸关头点检测上,OPPO以296个点的数量,实现了移动平台上每秒检测200次(200fps)的速度,在WFLW数据集上实现了低至4.71%的NME耗损。

至于画质增强引擎,则是一套能保障用户在绝对多半场景下都能拍出合意的画面的算法合集。

哪怕画面抖动幅度较大年夜、照样光线不足或过亮,画质增强引擎都能将画面调剂到更符适用户偏好的不雅感。(你的VLOG必备小妙手)

除在开首看到的,到场新一代超等防抖功能之外,画质增强引擎还包孕视频多帧HDR和超等夜景视频两项手艺。

行使视频多帧HDR拍出来的蜜斯姐,随意截一帧都是唯美的艺术照:

就连拍摄的夜景视频,也能获得不输白天的清楚度,甚至比白天有更丰硕的色彩度:

这些看似不经意的人像拍摄、视频措置后果,倒是决意作品细节的关头。

若何评价OPPO最新AI人像手艺?

需要加倍深切到焦点手艺之源。

此次OPPO,不但将人像系统做到了极致,还用软件弥补了硬件上“广角摄像头”带来的不足。

今朝AI人像范畴,焦点手艺程度,可以以措置暗光/长焦拍摄所用的超分说率较量争论作为参考。

简单来讲,超分说率(Super-Resolution)较量争论,是将一组低质量、低分说率的图象,颠末历程软硬件,获得一幅高分说率图象。

这是当前较量争论机视觉手艺中难度最大年夜的范畴之一,需要尽量地均衡图象的画质与真实性。

其焦点思惟,在于用时候带宽(获得同一场景的多帧图象序列),来换取空间分说率,实现时候分说率向空间分说率的转换。

而就在这个范畴,OPPO此次显现的手艺能力,并不是“啪的一下很倏忽”……

CVPR 2020上,OPPO就提出了独创的神经收集架构RFB-ESRGAN,行使漫衍式算法提高较量争论效率、并以多元的采样与较量争论模子合营,将恍惚的图片清楚放大年夜了16倍。

当时OPPO还从全球280多个顶尖参赛团队中脱颖而出,夺得了“极端超等分说率感知”的第一名。

有备而来。

后果也人人可见,颠末AI措置的人像,眉毛和皮肤都变得加倍清楚。

但比拟软件打破解决软件问题,OPPO的这个AI系统,还需要存眷的手艺亮点在于——用软件手艺弥补硬件的先天不足。

例如,在用广角摄像头给人摄影的历程当中,总有些尴尬的地方:

假如不抢C位,你的人脸即可能会变形。

而且,由于透视投影(Perspective Projection)的近大年夜远小道理,变形的常常只有人脸,布景看起来反而较量正常。

以往针对这类变形脸,平居需要一些职业P图大师来措置。

业内也一向在寻求——既不会扭曲布景,又能让人物恢复正常的手艺。

而此次OPPO的解决思绪,应用了球极平面投影(Stereographic Projection)。

其道理是,把一个球面投射到平面上,其实不忠厚反映距离,却十分忠厚地反映角度。

不外,单这么一项还没法一挥而就。

这类投影对人脸的拉伸其实不大年夜,然则布景看起来却会变得扭曲。

(投影近处转变小,远处转调换大年夜)

所以OPPO再用上了别的一项工序,用AI将两者连络。

究竟颠末两次拍摄措置,加上一个AI切割算法,就可以将“球平面投影”的部分边缘变形人脸、和“透视投影”的布景连络起来,实现人脸的还原。

Anyway,假如你敌手艺道理本身不是很感冒,其实也不要紧。

甚至无需清楚知道OPPO这个AI系统中“感知人像引擎”和“画质增强引擎”的精深的地方。

简单直接,所用所得,可以理解OPPO FDF全维人像视频手艺系统,就是OPPO放在手机里的你的专属化妆师和视频后期。

是的,专属,显露在后果细节。

好比开首提到的AI智能消弭瑕疵,业内美颜产物和功能中,都算是标配。

然则,将痘痘、皱纹如许的特点,和泪痣如许的先天特点进行分辨演习,“分阶采样”的智能模子,倒是少之又少。

它显露了手艺和产物团队对用户人性的洞察。而今的社交收集发图发视频,确切城市发之前P一下,但所有人寻求的,照样让P图陈迹、无迹可寻。

没有谁想在晒照晒视频后,被发现美颜P视频的硬伤。

别的,还有OFL肤质优化所需的语义豆割手艺,一样显露这类想用户所想。

为了将皮肤、头发和衣物分辨隔来,OPPO的模子颠末历程布局特点提取,将人像豆割成脸部、脖子、手部、头发、衣物等几部分。

然则,与常见的美颜语义豆割分歧,OPPO将脸部、脖子、手部同一归类为皮肤,一路进行优化,为的就是避免肤色不平均的问题。

……

所以如此各种,也能知晓为啥OPPO在人像范畴一向引领、功力深挚的真正缘由。

一方面是最复杂最前沿的手艺,别的一方面还要有民众真实审美不雅的洞察,最后交付到用户手中无感利用。

OPPO的别的一面

OPPO的手艺性,平居易于被疏忽。

但事实是,包孕手机摄影摄像在内的“华山论剑”范畴,OPPO产物和功能之所以爆款常有,都源自手艺底蕴和支持。

在世界常识产权组织(WIPO)的专利申报中,OPPO都是全球榜上靠前的企业。

最新可查的2019年数据,OPPO在全球局限内的排名位居韩国三星和美国高通今后,位居全球第6、中国区第二。

而具体到人像范畴,OPPO的手艺专利,也能最好诠释这家公司为何在该范畴延续创新和领先。

OPPO官方表露,2012年最早就在人像范畴在全球局限内睁开专利布局,包孕中国、美国、德国、法国、英国、印度和日韩等25个国度地区。OPPO在人像美颜、虚化、防抖、夜景等影象手艺的专利申请总数逾越700件,个中发现专利占比80%。

然则手艺底色的光线,此前一定程度上被民众消费电子产物的成功而盖过。

这其实也与适才说起的OPPO的产物理念,密不成分。

讲天职、讲人性、讲用户体验,寻求的是:

在本年OPPO将来科技大年夜会现场,开创人陈明永还分享了OPPO手机的初代往事。

照样功能机时期,2008年,OPPO第一款手机在用时一年半研发后,原型机获得供给链和客户高赞,但究竟OPPO团队却决意不发布它,而是破费半年在此根本上从头设计,到达预期想要的最完善后果。

究竟,笑脸手机问世,一炮而红,用一款功能机的最慢推出记录,缔造了半年破百万台销量的业界嘉话。

一样的理念一以贯之,就有了后来的「充电5分钟通话2小时」的快充领先方案,有了自拍、人像摄影范畴的江湖地位。

正是如许的产物理念,从需求、体验,带动了产物的成功。而产物的成功,又让OPPO可以在更大年夜体量范围的用户数、用户反馈反馈上迭代手艺和打磨产物。

实现了数据智能布景下,手艺-产物-用户之间的正向轮回和动势能转换。用户只需获得最好的产物体验息争决方案,而无需存眷背后手艺的复杂度和实现难度。

这也正是OPPO开创人陈明永强调的天职、致善式创新。

他说天职的气力是从自省动身,应当做甚么?做了没有?

而且思虑问题的素质,做正确的事。

在贸易稀奇是消费电子范畴,友商、竞争和各类“欺瞒奸狠”常被存眷。

但相信天职和致善式创新,就是相信可以颠末历程解决他人的问题、用户的痛点,实现多赢。

具体到OPPO,就是希望以科技作为手段,实现每一个用户对美、想象力和人性的寻求。

陈明永认为,科技创新假如没有自我束缚机制,没有更高的理念做支持,极可能成为一种承当。

全盘思虑中国哲学“致良知”和西方人性哲学今后,陈明永提出“科技为人,以善世界”,意以给公司经营和科技创新供应一条校验准绳,以纠偏各类寻求短时候效益的创新。

同时,他提示科技创新历程当中要留意规避因悚惶落伍敌手而不关心人的需求的盲目式创新。

所以从手艺、产物,上升到企业经营,OPPO之道,实现了一以贯之。

One more thing

最后,此次OPPO大年夜秀手艺和产物实力的大年夜会上,还有其他最前沿手艺的一揽子展出。

除FDF全维人像视频手艺系统,还有三大年夜前沿利用。

一是手机,OPPO X 2021卷轴屏概念机:

二是代表下一代交互终真个AR眼镜,OPPO AR Glass 2021:

和AR利用平台,CybeReal全时空间较量争论,这是OPPO的数字孪生平台,可以或许供应高精度的全时定位和场景辨认,实现物理世界与数字世界的畅通领悟。

别的现场展区,还有包孕3D虚拟人像手艺、AI眼球节制,UWB空间感知手艺等等一系列前沿手艺。

不外,在这一系列的前沿手艺和创新产物里,最使人期待的照样FDF系统。

由于即速就可让每小我所见所得。

OPPO官宣:2020年12月,也就是下个月,搭载FDF全维人像视频手艺系统的新品就会发布。

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.lcvip.net/kj/1834.html