原标题:用DensePose,教照片里的人学舞蹈,系群众体育鬼畜 | ECCV 2018

原标题:【ECCV
2018】推特开发姿态转换模型,只需一张照片就能让它跳舞(录像)

对峙互联网专题文献集

原标题:ECCV 2018 最佳杂文名单宣布,何恺明再添一项杂谈奖

栗子 发自 凹非寺

澳门金沙4787.com官网 1

第三篇杂文

澳门金沙4787.com官网 2

澳门金沙4787.com官网 3

倒计时**10**天

[变化对抗网](关于它的率先篇小说)

雷正兴网 AI 科学和技术评价按:两年2回的电脑视觉顶会 ECCV
正在德国加拉加斯拓展中。继正会第①天的开场解说中介绍了多项核心气象之后,各项随想奖项也在
12 日的参加会议职员大聚餐 Gala Dinner
上、在喜欢轻松的空气中、在美味的吃食的香气扑鼻里相继发布。

怎么样让三个面朝镜头静止不动的姐姐,跳起你为他选的翩翩起舞,把360度身姿周到表现?

[纸张]:HTTPS://arxiv.org/abs/1406.2661

澳门金沙4787.com官网 4

Facebook团队,把承担感知的几个人姿势识别模型DensePose,与顶住生成深度生成互连网重组起来。

来源:ECCV 2018

[代码]:HTTPS://github.com/goodfeli/adversarial

一流杂谈奖(Best 帕佩r Award,一篇)

不管是哪个人的感人姿势,都能附体到四妹身上,把她单一的静态,变成丰富的动态。

编辑:肖琴

未分类

Implicit 3D Orientation Learning for 6D Object Detection from RGB
Images

澳门金沙4787.com官网 5

【新智元导读】DensePose团队在ECCV
2018发布又一力作:密集人体姿态转换!那是三个基于DensePose的姿态转换系统,仅根据一张输入图像和对象姿势,生成数字人物的卡通片效果。

[利用对角互联网的拉普Ruskin字塔的纵深生成图像模型]

  • 依据 奇骏GB 图像检查和测试 6 维位姿的隐式三维朝向学习
  • 杂谈章摘要要:大家提议了贰个 CR-VGB
    彩色图像处理种类,它能够展开实时的物体格检查测与 6
    维位姿推测。其中的全新的三维朝向估量器是依照降噪自动编码的贰个变种,然后借助「职务随机化」(domain
    randomization)技巧用 3D
    模型的效仿视角实行磨练。那么些所谓的「增强机关编码器」比较现有的方法有数个亮点:它不须要真正的、标注过位姿的教练多少,它可以泛化到各类分化的测试传单器上,并且天然地就能够拍卖物体和看法的对称性。这一个模型学到的并不是从输入图像到物体位姿的显式映射,实际上它会依照图像样本在含有空间内建立1个隐式的物体位姿表征。基于
    T-LESS 和 LineMOD
    数据集的试行注解所提的艺术不但比接近的依据模型的不二法门有更好的彰显,而且表现也相近近日五星级的、须求真实的位姿标注图像的方法。
    • 杂谈地址:

那项商量成果,入选了ECCV 2018

DensePose 是 Instagram 研商员 Natalia
Neverova、Iasonas Kokkinos 和法兰西 INCRUISERIA 的 宝马7系ıza Alp Guler
开发的二个令人惊叹的身躯实时姿势识别系统,它在 2D 图像和躯体3D
模型之间确立映射,最终兑现密集人群的实时姿态识别。

[纸张]

澳门金沙4787.com官网 6

自然不能够只有DensePose

具体来说,DensePose 利用深度学习将 2D 奥德赛PG
图像坐标映射到 3D 人体外部,把壹人分开成许多 UV 贴图(UV
坐标),然后处理密集坐标,实现动态人物的精鲜明位和态度估摸。

[代码]

至上杂谈提名(Best Paper Award, Honorable Mention,两篇)

团队把SMPL五人态度模型,跟DensePose组成到二头。那样一来,就足以用1个成熟的外部模型来掌握一张图纸。

澳门金沙4787.com官网 7

(具有深卷积生成胶着状态网络的无监督表示学习)(Gan与卷积互连网)(ICLRubicon)

Group Normalization

那项钻探,是用基于表面包车型地铁神经济合营成,是在闭环里渲染一张图像,生成各样新姿势。

DensePose
模型以及数据集已经开源,传送门:

[纸张]

  • 组归一化
  • 舆论小编:Facebook人工智能钻探院吴育昕、何恺明。(又双叒叕是何恺明,往期最佳杂谈奖已经有
    ICCV 2017 最佳杂文以及五回 CVP路虎极光最佳故事集,能够说是最养眼的夏族研讨人口之一了)
  • 舆论内容:雷锋(Lei Feng)网 AI 科学和技术评价往期小说介绍过那篇随想的第2内容,参见
    那里
  • 散文地址:

澳门金沙4787.com官网 8

[代码]

GANimation: Anatomically-aware Facial Animation from a Single Image

左为源图像,中为源图姿势,右为对象姿势

系群众体育鬼畜,最佳杂文名单发表。不久前,该组织更进一步,公布了基于
DensePose 的一个姿势转换系统:Dense Pose Transfer,仅依据一张输入图像和对象姿势,创立出
“数字化身” 的卡通效果。

[对峙自动编码器]

  • GANimation:基于解剖学知识从单张图像生成人脸表情动画
  • 诗歌章摘要要:生成式对抗性互联网(GANs)的近期升高已经在面部表情变化职责中展现出了令人惊喜的结果。那项职务上最成功的架构是
    StarGAN,它把 GANs
    的图像生成进程限定在了2个有血有肉的界定中,也正是一组不一样的人做出同2个神情的照片。这种方法就算很得力,但是它不得不生成多少种离散的神气,具体是哪个种类由锻练多少的内容决定。为了清除那种限制,小编们在这篇随想中提出了一种新的
    GAN 条件限制格局,它依据的是动作单元(Action
    Units)的标号,而动作单元标注就能够在二个总是的流形中讲述足以定义人类表情的解剖学面部动作。通过那种方法,小编们得以控制每二个动作单元的激活程度,并且结合多个多少个动作单元。除此之外,大家还建议了2个通通无监察和控制的国策用于陶冶模型,它只必要标注了激活的动作单元的图像,然后通过注意力机制的施用就能够让网络对于背景和光照条件的改观保持鲁棒。大批量尝试评估注解他们的不二法门比其它的基准生成方法有拨云见日更好的变现,不仅彰显在有力量依照解剖学上可用的肌肉动作生成万分各种五种的神情,而且也能更好地处理来自不相同分布的图像。
    • 故事集地址:

照片中人索要上学的舞姿,来自另一位的肖像,或许录制截图。

澳门金沙4787.com官网 9

[纸张]

澳门金沙4787.com官网 10

DensePose系统,负责把两张相片涉嫌起来。具体方法是,在贰个国有表面UV坐标系
(common 三星GALAXY Tab coordinates) 里,给两者之间做个映射

在那项工作中,商讨者希望仅凭借基于表面(苹果平板-based)的对象表示(object
representations),类似于在图纸引擎中接纳的目的表示,来博取对图像合成进度的更强把握。

[代码]

Koenderink 奖 – 时间检验奖(两篇,来自 ECCV 贰零壹零)

但如果单独依照几何来变化,又会因为DensePose采集数据不够规范,还有图像里的小编遮挡
(比如肉体被手臂挡住) ,而显得不那么真实。

商讨者关怀的根本是人体。模型建立在近日的 SMPL 模型和 DensePose
系统的根基上,将那五个系统结合在一齐,从而能够用一体化的外部模型来验证1位的图像。

[依照深度网络转移具有感知相似性度量的图像]

Hamming embedding and weak geometric consistency for large scale image
search

澳门金沙4787.com官网 11

上面包车型大巴录制显示了更加多生成结果:

[纸张]

  • 用于大规模图像搜索的有线嵌入与弱几何一致性

DensePose提取的材质 (左) vs 修复后的材质 (右)

具体而言,那项技艺是透过 GALAXY Tab-based
的神经济合营成,渲染同一人的不比姿势,从而执行图像生成。目的姿势(target
pose)是通过2个 “pose donor”
的图像表示的,也等于指引图像合成的另一个人。DensePose
系统用于将新的肖像与国有表面坐标相关联,并复制预测的外观。

[变更具有复发性对抗网络的图像]

Semi-supervised On-Line Boosting for Robust Tracking

那么,团队拍卖遮挡的方法是,在表面坐标系里,引入二个图像修复(Impainting)
网络。把那几个网络的展望结果,和1个更守旧的前馈条件和成模型展望结合起来。

我们在 DeepFashion 和 MVC
数据集进行了实验,结果申明我们能够拿走比最新技术更好的定量结果。

[纸张]

  • 用以鲁棒追踪的半监察在线增强方法.

这个预测是个别独立展开的,然后再用2个细化模块来优化预测结果。把重构损失周旋损失感知损失构成起来,优势互补,得出最终的转变效果。

除外姿势转换的一定难题外,所提议的神经济同盟成与
苹果平板-based
的意味相结合的措施也有希望缓解虚拟现实和增强现实的更广泛难点:由于
三星GALAXY Tab-based
的象征,合成的经过越是透亮,也更便于与物理世界连接。未来,姿势转换职务或许对数据集增强、练习伪造检查和测试器等使用很有用。

[代码]

ECCV 还在三番五次拓展个中,雷锋(Lei Feng)网 AI
科学和技术评价也有多个角度的随想解读、会议动态小说。越多消息请继续关注。谢谢中科院自动化商量所马建伟提供的实地信息。回来博客园,查看越来越多

澳门金沙4787.com官网 12

Dense Pose Transfer

[当然图像歧管的变动视觉操作]

责编:

完全的互连网布局,仿佛上航海用体育地方那般。

研讨人口以一种高效的、自下而上的方法,将各个人体像素与其在身体参数化的坐标关联起来,开发了围绕
DensePose 预计系统开始展览姿势转换的主意。

[纸张]

监历史学习一下

咱俩以三种补偿的方式使用 DensePose
输出,对应于预测模块和变形模块(warping module),如图 1 所示。

[代码]

模型的监督学习进程,是这么的:

澳门金沙4787.com官网 13

[转移对象文本到图像合成]

澳门金沙4787.com官网 14

图 1:pose transfer pipeline
的大概浏览:给定输入图像和对象姿势,使用 DensePose 来执行生成进程。

[纸张]

从输入的源图像开首,先把它的每种像素对应到UV坐标系里。这一步是DensePose驱动的迁移互连网达成的。

变形模块使用 DensePose
表面对应和图像修复(inpainting)来变化人物的新视图,而测度模块是三个通用的黑盒生成模型,以输入和对象的
DensePose 输出作为标准。

[代码]

然后,负责修复图像的自编码器,就来预测肖像中人的不等角度会是哪些体统。那步预测,也是在扭转的坐标系里完成的。

那四个模块具有互补的长处:预测模块成功地应用密集条件输出来为熟识的姿势生成合理的图像;但它不能松开的新的架子,或转移纹理细节。

[代码]

从左侧早先,正是变化目的,同样要整合到UV坐标系中。再用损失函数来处理
(上海体育场合红字部分) 把结果输入自编码器,帮助模型学习。

相比,变形模块能够保存高品质的细节和纹理,允许在3个统一的、规范的坐标系中展开修补,并且能够自由地拓宽到司空见惯的身体动弹。可是,它是以肉体为主导的,而不是以服装为主干,由此尚未考虑头发、衣裳和配饰。

[学学如何和在什么地方画]

用同1人物 (同样装扮)
多个静态姿势来作监督,替代了360度旋转的躯干。

将那四个模块的输出输入到二个掺杂模块(blending
module)能够获取最好的结果。那一个混合模块通过在二个端到端可磨练的框架中选择重构、对抗和感知损失的咬合,来融合和周详它们的预计。

[纸张]

练习成果如何

澳门金沙4787.com官网 15

[代码]

先来看一下,新加盟的图像修复步骤,生成的功力:

图 2:warping stream
上架子转换的监察信号:通过 DensePose
驱动的上空更换网络,将左手的输入图像扭曲到原有的外表坐标。

[草图检索对抗培养和练习]

澳门金沙4787.com官网 16

澳门金沙4787.com官网 17

[纸张]

把DensePose的品质纹路,修复一下,照旧有拨云见日作用的。

图 3:Warping 模块的结果

[应用风格和组织对抗网络的更动图像建立模型]

再来看一下多少人录像什么样子:

如图 3 所示,在修复进程(inpainting
process),能够观测到叁个均匀的外部,捕捉了皮肤和贴身衣裳的外观,但并未设想头发、裙子或伪装,因为这么些不相符
DensePose的外部模型。

[纸张]

澳门金沙4787.com官网 18

尝试和结果

[代码]

即使,脸部好像烧焦的指南,但现已很鬼畜了。在下不由得想起:

咱俩在 DeepFashion
数据集上进行尝试,该数据集带有 52712 个媒体模特图像,13029
件不相同姿势的衣服。我们选择了 12029 件服装展开磨炼,别的 1000件用于测试。

[变迁对抗互连网当作能量模型的转变练习](ICLR 2017)

澳门金沙4787.com官网 19

澳门金沙4787.com官网 20

[纸张]

除此以外协会用DeepFashion数据集,比较了一下本身算法和其他同行。

表1:根据结构相似度 (SSIM)、 英斯ption
Score(IS)[41] 和 detection score(DS)目的,对DeepFashion 数据集的两种state-of-the-art 方法实行定量相比。

[半督察文本分类对抗培养和磨练情势](Ian Goodfellow Paper)

结果是,布局相似度(Structural Similarity) ,以假乱真度 (英斯ption
Score) 以及检查和测试分 (Detection Score)
那三项目标,推特(Twitter)家的算法表现都超过了前辈。

咱俩先是将大家的框架与近年来有的依据关键点的图像生成或多视图合成方法开始展览相比较。

[纸张]

澳门金沙4787.com官网 21

表 1 彰显,大家的 pipeline
在组织逼真度(structural fidelity)方面有鲜明优势。在以IS
作为目标的感知品质方面,我们模型的输出生成具有更高的质感,或可与现有工作相比美。

[注意]

诸君请持续期待,DensePose更加多鬼畜的行使吧。

意志结果如图 4 所示。

[透过对抗磨练从模拟和无监察和控制的图像学习](苹果随想)

诗歌字传递送门:

澳门金沙4787.com官网 22

[纸张]

图 4:与发轫进的 Deformable GAN (DSC)
方法的恒心相比。

[代码]

附带一提,教人学跳舞的算法真的不少。

凝聚人体姿态转换应用

[通过深层发电机互连网合成神经网络神经元的首要采用输入]

比如,伯克利舞痴变舞王,优点是栩栩欲活,缺点是不恐怕兑现多个人共舞

在那项工作中,我们介绍了一个施用密集人体姿态推断的
two-stream
姿态转换框架结构。我们曾经证实,密集姿势估算对于数据驱动的身子姿势臆度而言是一种引人侧目优化的调节信号,并且通过
inpainting
的法子在本来的体表参数化进度中创立姿势转换。在今后的劳作中,大家打算进一步追究那种格局在照片级真实图像合成,以及处理更加多品类方面包车型地铁潜力。

[纸张]

澳门金沙4787.com官网 23

作者:

[代码]



澳门金沙4787.com官网 24

[SalGAN:Visual Saliency Prediction with Generative Adversarial
Networks]

vs

  • Rıza Alp Güler,INRIA, CentraleSupélec
  • Natalia Neverova,Facebook AI Research
  • Iasonas Kokkinos,Facebook AI Research

[纸张]

澳门金沙4787.com官网 25

论文:

[代码]

[对战特征学习]

金立云•普惠AI,让开发充满AI!

新智元AI WOHavalLD 2018大会倒计时 10

[纸张]

爱上您的代码,爱做 “改变世界”的行进派!

回去腾讯网,查看越多

[使用循环一致性对抗网络的无图像到图像转换]

大会将第叁遍发表AI开发框架,从AI模型磨练到AI模型布置的整整开发一站式实现!让AI开发触手可及!回到博客园,查看更加多

[纸张]

小编:

主要编辑:

[代码]

合奏

[AdaGAN:Boosting Generative Models](Google Brain)

[纸张]

聚类

[行使生成对抗练习和聚类的无监督学习](ICLR)

[纸张]

[代码]

[无监督和半监察学习与分类生成对抗网络](ICLR)

[纸张]

图像修复

[感知和语境损失的语义图像修复]

[纸张]

[代码]

[左右文编码器:通过修复进展职能学习]

[纸张]

[代码]

[内外文有标准变化对抗互连网的半监察学习]

[纸张]

一道概率

[周旋学习推论]

[纸张]

[代码]

超分辨率

[通过深度学习的图像超分辨率](仅面向数据集)

[代码]

[运用生成对抗互连网的肖像逼真单图像超分辨率](使用深度残差网络)

[纸张]

[代码]

[EnhanceGAN]

[文件]

删除遮蔽

[强劲的LSTM自动编码器在野外面部遮挡]

[纸张]

语义分割

[行使对话网络的语义分割](soumith的论文)

[纸张]

指标检查和测试

[用于小物体格检查测的感知生成对抗网络](提交)

[A-Fast-奔驰M级CNN:通过对象检查和测试的敌方的硬正发生](CVPR2017)

[纸]

[C-昂科拉NN-GAN:具有对抗性陶冶的接连循环神经互连网]

[纸张]

[代码]

有原则的对抗

[有标准化转变对抗网]

[纸张]

[代码]

[InfoGAN:Interpretable Representation Learning by Information
Maximizing Generative Adversarial Nets]

[纸张]

[代码]

[行使条件对抗互联网的图像到图像翻译]

[纸张]

[代码]

[代码]

[选用协助分类器GAN的尺度图像合成](GoogleBrain ICLR 2017)

[纸张]

[代码]

[像素级域名转移]

[纸张]

[代码]

[图像编辑的可逆条件GAN]

[纸张]

[代码]

[即插即用生成互连网:潜在空间中的条件迭代生成图像]

[纸张]

[代码]

[StackGAN:文本到全体堆叠生成对话互联网的肖像神似图像合成]

[纸张]

[代码]

[无监督的图像到图像翻译与转移对抗互连网]

[纸张]

[读书与转变对话互连网发现跨域关系]

[纸张]

[代码]

摄像预测

[深度多规格录像预测超过均方误差](Yann LeCun的论文)

[纸张]

[代码]

[由此录像预测实行物理互动的无监督学习](Ian Goodfellow的论文)

[纸张]

[澳门金沙4787.com官网 ,动用情况动态变化录制]

[纸张]

[网络]

[代码]

纹理合成清劲风格转移

[利用马尔可夫生成对抗互联网的前瞻算实时纹理合成](ECCV 2016)

[纸张]

[代码]

GAN理论

[财富生成对抗网](Lecun论文)

[纸张]

[代码]

[考订GAN培养和磨练技能](Goodfellow的论文)

[纸张]

[代码]

[形式正则化生成对抗互连网](Yoshua Bengio,ICLR 2017)

[纸张]

[改良爆发相持网络的去噪特征匹配](Yoshua Bengio,ICLR 2017)

[纸张]

[代码]

[采集样品生成互联网]

[纸张]

[代码]

[形式正则化生成对话网络](Yoshua Bengio的论文)

[纸张]

[什么样磨炼甘斯]

[的Docu]

[面向练习转变对抗互连网的标准化方法](ICLR 2017)

[纸张]

[开始展览的成形对抗网络]

[纸张]

[代码]

[细微二乘法对抗网络]

[纸张]

[代码]

[Wasserstein GAN]

[纸张]

[代码]

[Lipschitz密度损失敏感的变动对抗互连网](与WGan相同)

[纸张]

[代码]

[面向磨练转变对抗网络的条件方法]

[纸张]

3D

[通过3D生成 – 对抗建立模型学习目的形状的票房价值潜在空间](2016 NIPS)

[纸张]

[网络]

[代码]

直面生成和编写制定

[应用学习的相似性衡量自动编码超像素

[纸张]

[代码]

[耦合生成对抗网络](NIPS)

[纸张]

[Caffe Code]

[Tensorflow Code]

[图像编辑的可逆条件GAN]

[纸张]

[代码]

[面部属性决定的上学残差图像]

[纸张]

[使用内省对战网络展开神经照片编辑](ICLR 2017)

[纸张]

[代码]

对此离散分布

[最大似然增强离散生成胶着状态网络]

[纸张]

[边界寻求转变对抗网络]

[纸张]

[GANS-GANSB]的分别成分类别与Gumbel-softmax分布

[纸张]

项目

[cleverhans](一个用于对抗脆弱性的争辩体育场所)

[代码]

[reset-cppn-gan-tensorflow](使用残差生成对抗互联网和变分自动编码器技术来产生高分辨率图像)

[代码]

(HyperGAN)(开源GAN重视于规模和可用性)

[代码]

相关文章